[發明專利]IP代理池的管理方法、設備和存儲介質

在審

• 申請號: 201910856334.1
• 申請日: 2019-09-11
• 公開（公告）號: CN110677510A
• 公開（公告）日: 2020-01-10
• 發明（設計）人: 王杰;童剛;葉秀清
• 申請（專利權）人: 蘇州朗動網絡科技有限公司
• 主分類號: H04L29/12
• 分類號: H04L29/12
• 代理公司: 32235 蘇州威世朋知識產權代理事務所(普通合伙)
• 代理人: 董燕

本發明揭示了一種IP代理池的管理方法、設備和存儲介質，所述方法包括：獲取代理IP；使用所述代理IP訪問不同類型的URL站點，并根據訪問結果記錄所述代理IP的用途類型；根據所述代理IP的用途類型，將所述代理IP存入對應用途類型的代理池中。與現有技術相比，本發明通過將不同用途的代理IP放入不同的代理池中，從而應用程序根據站點的訪問需要到對應用途的代理池中獲取代理IP，提高應用程序的執行效率。

技術領域

本發明涉及計算機技術領域，尤其涉及一種IP代理池的管理方法和系統。

背景技術

對于爬蟲來說，當你的訪問頻率達到了目標網站的預警值時，就可能觸發目標網站的反爬機制。而封禁訪問者IP就是很常見的一個反爬機制。當IP被封禁后，從此IP發出的請求將不能得到正確的響應。這種時候，我們就需要代理IP。

一般我們可以通過向不同的代理商獲取代理IP，然后將所有代理IP放入代理池中，在使用時調用代理池中的代理IP。

但是爬蟲程序在獲取這種操作方式下的代理IP時，執行效率很低。

發明內容

本發明的目的在于提供一種IP代理池的管理方法、設備和存儲介質。

為實現上述發明目的之一，本發明一實施方式提供一種IP代理池的管理方法，所述方法包括：

獲取代理IP；

使用所述代理IP訪問不同類型的URL站點，并根據訪問結果記錄所述代理IP的用途類型；

根據所述代理IP的用途類型，將所述代理IP存入對應用途類型的代理池中。

作為本發明一實施方式的進一步改進，所述“根據訪問結果記錄所述代理IP的用途類型”具體包括：

若所述代理IP能夠訪問http協議類型的URL站點，記錄所述代理IP的用途類型包括http代理；

若所述代理IP能夠訪問https協議類型的URL站點，記錄所述代理IP的用途類型包括https代理；

若所述代理IP能夠訪問sockets協議類型的URL站點，記錄所述代理IP的用途類型包括sockets代理；

若所述代理IP能夠訪問國外的URL站點，記錄所述代理IP的用途類型包括國外代理；

若所述代理IP對于http協議類型、https協議類型、sockets協議類型和國外這四種URL站點都無法訪問，所述代理IP為無效的代理IP。

作為本發明一實施方式的進一步改進，所述“根據所述代理IP的用途類型，將所述代理IP存入對應用途類型的代理池中”具體包括：

若所述代理IP的用途類型包括http代理，將所述代理IP存入http代理的代理池中；

若所述代理IP的用途類型包括https代理，將所述代理IP存入https代理的代理池中；

若所述代理IP的用途類型包括sockets代理，將所述代理IP存入sockets代理的代理池中；

若所述代理IP的用途類型包括國外代理，將所述代理IP存入國外代理的代理池中。

作為本發明一實施方式的進一步改進，所述代理IP訪問的URL站點為內網模擬的URL站點。

作為本發明一實施方式的進一步改進，所述“獲取代理IP”具體包括：

將代理商提供的API接口寫入API數據庫中；

通過調用API數據庫中的API接口，獲取代理IP。

作為本發明一實施方式的進一步改進，所述方法還包括：