快速找出解決http爬蟲被封IP的四個方法
jj
2021-11-29
我們在做爬蟲的過程中經(jīng)常會遇到這樣的情況。一開始爬蟲運行正常，抓取數(shù)據(jù)正常，一切看起來都那么美好。然而稍不注意可能就出錯了，比如被ip被禁，那么快速找出解決http爬蟲被封IP的四個方法。
1.方法。
不管你想收藏什么樣的網(wǎng)站，http代理ip肯定是必須的，但需要注意的是，你必須使用國內(nèi)的代理ip，可以直接從ip在線代理地址購買。但一定要可靠。這樣做的優(yōu)點是:
一是程序邏輯變化小，只需要代理功能。
二是可以根據(jù)對方網(wǎng)站屏蔽規(guī)則的不同，購買不同的ip代理。
第三，假設(shè)你當前使用的代理ip被對方網(wǎng)站屏蔽，你可以在不改變程序邏輯的情況下更改IP。
2.方法。
少數(shù)網(wǎng)站防范措施薄弱。您可以偽裝從代理IP服務(wù)提供商處購買的IP，并修改X-forward-for，這可以繞過。
大多數(shù)網(wǎng)站，如果你想頻繁抓取，通常需要更多的IP。我比較喜歡的解決方案是直接購買飛蟻動態(tài)轉(zhuǎn)發(fā)的HTTP代理ip。
3.方法。
ADSL+腳本，監(jiān)控是否阻塞，然后不斷切換ip。
設(shè)置查詢頻率限制
正統(tǒng)的方式是調(diào)用這個網(wǎng)站提供的服務(wù)接口。
4.方法。
1用戶代理偽裝和輪換
2使用代理ip和循環(huán)
3 cookies處理，部分網(wǎng)站對登錄用戶有較為寬松的策略。
