代理IP軟件的使用在抓取過程中必不可少
代理IP軟件的使用在抓取過程中是必不可少，在使用軟件之前我們需要了解三個關(guān)鍵概念。
代理IP也稱為網(wǎng)絡(luò)代理，是一種獨(dú)特的互聯(lián)網(wǎng)服務(wù)，允許終端設(shè)備(通常是手機(jī)客戶端)通過該服務(wù)與另一個終端設(shè)備通信(通常是網(wǎng)絡(luò)服務(wù)器)間接連接。網(wǎng)關(guān)IP、無線路由器等一些網(wǎng)絡(luò)安全產(chǎn)品。必須具備代理服務(wù)器的通用性。通用代理服務(wù)有利于終端設(shè)備的安全措施、信息機(jī)密性或安全性能，以避免攻擊。
1.代理IP
服務(wù)器代理既是網(wǎng)絡(luò)服務(wù)器，也是手機(jī)客戶端。手機(jī)向代理發(fā)送post請求消息，代理服務(wù)器必須像云服務(wù)器一樣妥善處理post請求和連接，然后返回響應(yīng)。同時，代理本身要向服務(wù)器發(fā)送post請求，這樣它的行為必須和正確的手機(jī)客戶端的行為一致，要發(fā)送post請求，接受響應(yīng)。
服務(wù)器的特征：客戶沒有我不知道誰是真正的網(wǎng)絡(luò)服務(wù)器，網(wǎng)絡(luò)服務(wù)器不是我不確定客戶是什么，客戶端和服務(wù)器代理、服務(wù)器代理和服務(wù)器在其應(yīng)用領(lǐng)域中具有相同的通信協(xié)議。代理IP將分析收到的post請求，重新打包并發(fā)送到網(wǎng)絡(luò)服務(wù)器。網(wǎng)絡(luò)服務(wù)器響應(yīng)后，分析響應(yīng)，重新封裝，然后發(fā)送給客戶端。
2.網(wǎng)關(guān)(Gateway)
在通信網(wǎng)絡(luò)中，網(wǎng)關(guān)是轉(zhuǎn)發(fā)其他云服務(wù)器的通信數(shù)據(jù)的網(wǎng)絡(luò)服務(wù)器。當(dāng)接收到客戶端發(fā)送的post請求時，它會像擁有自己資源的源網(wǎng)絡(luò)服務(wù)器一樣處理post請求。有時，計(jì)算機(jī)客戶端可能不知道，它的通信目標(biāo)是網(wǎng)關(guān)。
在傳統(tǒng)的TCP/在IP術(shù)語中，計(jì)算機(jī)設(shè)備分為兩種，一種是網(wǎng)關(guān)，一種是主機(jī)。網(wǎng)關(guān)可以在互聯(lián)網(wǎng)之間傳輸數(shù)據(jù)文件，但主機(jī)不能傳輸數(shù)據(jù)文件。在主機(jī)(端系統(tǒng))，數(shù)據(jù)文件需要通過TCP/IP四層協(xié)議處理正確，而在網(wǎng)關(guān)(中間操作系統(tǒng))，你只需要到達(dá)互聯(lián)網(wǎng)層并決定要傳輸?shù)穆窂矫?，那個時候網(wǎng)關(guān)和路由器沒什么區(qū)別。
在現(xiàn)當(dāng)代網(wǎng)絡(luò)術(shù)語中，網(wǎng)關(guān)和路由器的概念是不同的。網(wǎng)關(guān)可以在不同的安全協(xié)議之間移動數(shù)據(jù)，而路由器在不同的互聯(lián)網(wǎng)之間移動數(shù)據(jù)，相當(dāng)于傳統(tǒng)的IP網(wǎng)關(guān)。
3.隧道協(xié)議
隧道協(xié)議(English : tunnel protocol)是一種網(wǎng)絡(luò)通信協(xié)議，其中使用了網(wǎng)絡(luò)協(xié)議(傳輸安全協(xié)議)，在負(fù)載部分封裝不同的網(wǎng)絡(luò)協(xié)議。使用隧道的原因是為了在不兼容的Internet上傳輸數(shù)據(jù)，或者在不安全的Internet上提供安全的路徑。
隧道的特征
安全協(xié)議是為承載協(xié)議本身之外的流量而編寫的協(xié)議。允許網(wǎng)絡(luò)數(shù)據(jù)從一個互聯(lián)網(wǎng)移動到另一個互聯(lián)網(wǎng)，只關(guān)心流量的傳輸，不分析承載流量。
