正確使用ip代理應(yīng)付反爬蟲(chóng)策略
jj
2021-11-19
最經(jīng)典的反爬蟲(chóng)策略是“驗(yàn)證碼”。因?yàn)轵?yàn)證碼是圖片，用戶(hù)只需要輸入一次就可以登錄成功。然而，在我們的程序捕獲數(shù)據(jù)的過(guò)程中，我們需要不斷地登錄。比如我們需要抓取1000個(gè)用戶(hù)的個(gè)人信息，需要填寫(xiě)1000次驗(yàn)證碼，但是手工輸入驗(yàn)證碼是不現(xiàn)實(shí)的。因此，驗(yàn)證碼的出現(xiàn)一度難倒了很多網(wǎng)絡(luò)爬蟲(chóng)工程師。
解決方案:
1.分析網(wǎng)站的驗(yàn)證碼機(jī)制，從網(wǎng)站后臺(tái)或前端獲取驗(yàn)證碼(文本形式)。這種方法只適用于少數(shù)網(wǎng)站，因?yàn)槲覀円话愫茈y獲得驗(yàn)證碼。
2.利用圖像識(shí)別技術(shù)識(shí)別驗(yàn)證碼文本。
3.通常，一些網(wǎng)站不僅是個(gè)人電腦端的，也是移動(dòng)端的。很有可能手機(jī)端網(wǎng)站不包含驗(yàn)證碼。所以試試手機(jī)網(wǎng)站，可能會(huì)有意想不到的收獲。
另一個(gè)反爬蟲(chóng)策略是封ip和賬號(hào)。剛開(kāi)始用機(jī)器搶新浪微博，導(dǎo)致我的賬號(hào)被封，IP短時(shí)間被封，遇到類(lèi)似問(wèn)題一定要多加小心。
解決方案:
1.最簡(jiǎn)單的解決方法:限制程序捕獲頻率，每隔幾秒鐘登錄一次(如果對(duì)捕獲數(shù)量沒(méi)有要求，可以用這個(gè)方法；如果要捕獲大量數(shù)據(jù)，就不應(yīng)該捕獲的日期)。
2.由于賬號(hào)是用IP封的，我會(huì)用多個(gè)賬號(hào)多臺(tái)機(jī)器去抓取，既解決了反爬蟲(chóng)的問(wèn)題，也相當(dāng)于分流和減輕了單機(jī)的帶寬壓力。
3.事實(shí)證明，即使我們采用一兩種方法，有些網(wǎng)站也會(huì)被屏蔽。在這種情況下，我們只能使用ip代理來(lái)捕獲我們想要的數(shù)據(jù)，到目前為止，基本上解決封賬號(hào)封IP的問(wèn)題還是很有效的。
