爬蟲可以利用這些代理IP抓取網(wǎng)站
了解網(wǎng)站的反爬機制，一般網(wǎng)站從以下幾個方面進行反爬。
精靈IP代理1.防爬行通過收割臺
向用戶索要標題是最常見的反爬蟲策略。許多網(wǎng)站會檢測標題和用戶-代理，有些網(wǎng)站會檢測推薦人(一些資源網(wǎng)站的防盜鏈就是檢測推薦人)
如果遇到這種反爬蟲機制，可以直接給爬蟲添加頭，并添加瀏覽器的用戶-代理被復制到爬蟲的頭部。或?qū)eferer值修改為目標網(wǎng)站的域名。對于檢測標題的反爬蟲，可以通過在爬蟲中修改或添加標題來繞過它。
2.基于用戶行為的反爬蟲
還有一些網(wǎng)站是檢測用戶行為的，比如同一個IP短時間內(nèi)多次訪問同一個頁面，或者同一個賬號短時間內(nèi)多次做同樣的操作。
大部分網(wǎng)站是前者，使用IP代理就可以解決。我們可以在檢測后將代理IP保存在文件中，但是這種方法不可取，而且代理IP失敗的概率較高，所以從專業(yè)代理IP在網(wǎng)站上實時抓取是一個不錯的選擇。
在第二種情況下，下一個請求可以在每次請求后幾秒鐘的隨機時間間隔內(nèi)進行。一些有邏輯漏洞的網(wǎng)站可以通過多次請求、注銷、再次登錄、繼續(xù)請求等，繞過了同一賬號不能在短時間內(nèi)多次提出同一請求的限制。
對于cookie，檢查cookie以確定用戶是否是有效用戶。需要登錄的網(wǎng)站經(jīng)常使用這種技術。此外，一些網(wǎng)站的登錄會進行動態(tài)更新和驗證。例如，用于登錄認證的認證_Token會在Tukuku登錄時隨機分配，認證_令牌將與用戶提交的登錄名和密碼一起發(fā)送回服務器。
3.基于動態(tài)頁面的反爬蟲
有時候當你抓取目標頁面時，發(fā)現(xiàn)關鍵信息內(nèi)容是空的，只有框架代碼。這是因為網(wǎng)站的信息通過用戶帖子的XHR動態(tài)返回內(nèi)容信息。這個問題的解決方案是通過開發(fā)者工具(Fireflies, etc)分析網(wǎng)站流量。，找到一個單獨的內(nèi)容信息請求(如Json)，抓取內(nèi)容信息，獲取所需內(nèi)容。
更復雜的是動態(tài)請求的加密，參數(shù)可以 t被解析，所以它們可以 不要被抓住。在這種情況下，您可以使用機械化、SeleniumRC調(diào)用瀏覽器內(nèi)核，就像真正的瀏覽器上網(wǎng)一樣，可以最大化抓取的成功率，但效率會大打折扣。筆者測試過，在拉戈抓取30頁招聘信息需要30多秒。用模擬的瀏覽器內(nèi)核爬行需要2-3分鐘。
4.限制一些IP訪問
很多網(wǎng)站都可以獲得免費的代理IP，因為爬蟲可以利用這些代理IP抓取網(wǎng)站，網(wǎng)站也可以利用這些代理IP進行反向限制，通過抓取這些IP并保存在服務器上來限制爬蟲。
