網(wǎng)站最常見(jiàn)的三種高級(jí)反爬蟲策略
jj
2021-12-23
做爬蟲工作的伙伴都知道，不同的網(wǎng)站有不同的防爬策略，我們需要具體情況具體分析，制定相應(yīng)的爬蟲策略。雖然爬蟲策略有千萬(wàn)種，但一般網(wǎng)站基本上是從用戶請(qǐng)求的頭部、用戶訪問(wèn)行為、網(wǎng)站目錄、數(shù)據(jù)加載方式三個(gè)方面來(lái)對(duì)抗爬蟲的。下面是精靈ip代理帶我們來(lái)分析一下。
一.用戶請(qǐng)求的標(biāo)題
根據(jù)用戶請(qǐng)求的標(biāo)題反爬蟲是最常見(jiàn)的反爬蟲策略。很多網(wǎng)站會(huì)檢測(cè)到headers的User-Agent，也有一些網(wǎng)站會(huì)檢測(cè)到Referer(有些資源網(wǎng)站的防盜鏈就是檢測(cè)Referer)等。
標(biāo)頭的反爬網(wǎng)策略通常很容易處理。比如針對(duì)用戶代理的反爬策略，我們可以收集很多用戶代理，然后隨機(jī)調(diào)用。還可以很好地處理Referer值的反爬網(wǎng)策略，并且可以將值更改為目標(biāo)網(wǎng)站的域名。
二、用戶訪問(wèn)行為
大多數(shù)網(wǎng)站從用戶的訪問(wèn)行為出發(fā)制定反爬蟲策略，畢竟會(huì)直接加載服務(wù)器。一般從兩個(gè)方面來(lái)判斷:一是同一IP短時(shí)間內(nèi)多次訪問(wèn)同一頁(yè)面，二是同一賬號(hào)短時(shí)間內(nèi)多次執(zhí)行同一操作。
第一種情況不難處理，可以選擇使用代理IP來(lái)解決。比如站內(nèi)elf代理的短期優(yōu)質(zhì)代理，一手私有代理，專屬IP池都可以很好的完成工作。
第二章的情況也可以處理好。在每個(gè)請(qǐng)求之后，下一個(gè)請(qǐng)求以幾秒鐘的隨機(jī)間隔發(fā)出。為什么要隨機(jī)？因?yàn)椴灰?guī)則休眠更符合真實(shí)用戶的訪問(wèn)行為。
三.數(shù)據(jù)加載模式
我們知道，網(wǎng)站界面大部分都是靜態(tài)頁(yè)面(即在瀏覽器中可以看到源代碼)，但網(wǎng)站中的部分?jǐn)?shù)據(jù)是后期通過(guò)ajax請(qǐng)求(或push技術(shù)等其他方法)獲取的，對(duì)于爬蟲來(lái)說(shuō)比較麻煩。
解決方案:首先，用Firebug或Fiddler分析網(wǎng)絡(luò)請(qǐng)求。找到ajax的請(qǐng)求url，用Python模擬請(qǐng)求得到需要的數(shù)據(jù)。但是，有些網(wǎng)站已經(jīng)加密了ajax請(qǐng)求的所有參數(shù)，所以我們只能使用動(dòng)態(tài)呈現(xiàn)頁(yè)面信息來(lái)抓取。推薦閱讀:4個(gè)驗(yàn)證代理ip有效性的API接口
這是網(wǎng)站上最常見(jiàn)的三種高級(jí)防爬策略，當(dāng)然還有一些其他的防爬策略，比如驗(yàn)證碼等。，這就需要爬蟲工程師根據(jù)實(shí)際情況制定爬蟲策略。
