爬蟲(chóng)需要大量穩(wěn)定的代理IP軟件
爬蟲(chóng)被屏蔽了怎么辦？在用代理ip軟件在抓取信息的過(guò)程中，如果抓取頻率過(guò)高或者使用多線(xiàn)程，很容易被禁止訪(fǎng)問(wèn)。網(wǎng)站的反爬蟲(chóng)機(jī)制一般是基于IP和用戶(hù)的用戶(hù)代理IP來(lái)識(shí)別爬蟲(chóng)。因此，爬蟲(chóng)中的開(kāi)發(fā)者通常需要采取兩種措施來(lái)解決這個(gè)問(wèn)題。
1.減緩抓取速度，減輕目標(biāo)網(wǎng)站壓力。但是，這樣會(huì)減少單位時(shí)間的抓取量。
2.第二種方法是通過(guò)設(shè)置代理IP等手段，突破反爬機(jī)制，繼續(xù)高頻爬取,但這需要大量穩(wěn)定的代理IP軟件。
IP代理軟件可以免費(fèi)搜索，但是不一定穩(wěn)定，有收費(fèi)的，比如精靈IP代理
以下是基于ADSL的:撥號(hào)的兩種常見(jiàn)解決方案。通常在搶的過(guò)程中被禁止訪(fǎng)問(wèn)時(shí)，可以重新?lián)艽駻DSL獲得新的IP，這樣就可以繼續(xù)搶了。但在多站點(diǎn)多線(xiàn)程抓取的情況下，如果禁止一個(gè)網(wǎng)站的抓取，也會(huì)影響其他網(wǎng)站的抓取，整體降低抓取速度。一種可能的解決方案也是基于ADSL撥號(hào)。不同的是你需要兩臺(tái)可以撥ADSL的服務(wù)器，這兩臺(tái)服務(wù)器在搶的過(guò)程中作為代理使用。假設(shè)有兩臺(tái)服務(wù)器A和B可以撥打ADSL。爬蟲(chóng)運(yùn)行在C服務(wù)器上，使用作為IP代理訪(fǎng)問(wèn)外部網(wǎng)絡(luò)，如果抓取時(shí)禁止訪(fǎng)問(wèn)，立即將代理切換到B，然后重?fù)蹵，如果再次禁止訪(fǎng)問(wèn)，切換到A作為代理，B再次撥號(hào)，以此類(lèi)推。綜上所述，最簡(jiǎn)單的方法就是購(gòu)買(mǎi)現(xiàn)成的代理IP軟件產(chǎn)品。
