[發明專利]管理IP代理池的方法、裝置、計算機設備及存儲介質

在審

• 申請號: 202011519476.8
• 申請日: 2020-12-21
• 公開（公告）號: CN112671945A
• 公開（公告）日: 2021-04-16
• 發明（設計）人: 董潤華
• 申請（專利權）人: 深圳壹賬通智能科技有限公司
• 主分類號: H04L29/12
• 分類號: H04L29/12;G06F16/951;G06F16/9535
• 代理公司: 深圳眾鼎專利商標代理事務所(普通合伙) 44325
• 代理人: 譚果林

本發明涉及數據爬取領域，尤其涉及一種管理IP代理池的方法、裝置、計算機設備及存儲介質，其方法包括：接收到客戶端的IP使用請求，根據輪詢原則調取IP隊列處于隊首位置的隊首IP，判斷所述隊首IP的響應時間是否低于預設閾值，若所述隊首IP的響應時間低于或等于預設閾值，則將隊首IP發送給客戶端，接收客戶端返回的所述隊首IP請求成功的反饋信息，將隊首IP移動至所述IP隊列的隊尾位置。本發明實現了IP負載的均衡性和使高質量的代理IP的得到充分利用，同時，避免了同一個代理IP被多個客戶端同時使用而造成的卡頓或者被封禁的情況，從而提高了代理池中代理IP的穩定性和有效性。

技術領域

本發明涉及數據爬取領域，尤其涉及一種管理IP代理池的方法、裝置、計算機設備及存儲介質。

背景技術

隨著互聯網的高速發展，網絡信息越來越豐富且多元化，對信息獲取效率的要求也隨之提高。通常情況下，短時間內單一IP頻繁的訪問同一網站去獲取信息會導致IP被封鎖而不能訪問，這時需要使用代理IP去訪問獲取信息。

目前，有大量公開的免費代理IP和付費代理IP可供選擇，但是這些代理IP通常因為被其他人使用來訪問同樣的目標網站被封鎖，或者代理服務器突然發生故障，不能訪問獲取信息。這些代理IP的不穩定和有效性低，直接影響了信息獲取的效率。

發明內容

基于此，有必要針對上述技術不足，提供一種管理IP代理池的方法、裝置、計算機設備及存儲介質，以解決代理IP不穩定和有效性低的問題。

一種管理IP代理池的方法，包括：

接收到客戶端的IP使用請求，根據輪詢原則調取IP隊列處于隊首位置的隊首IP，判斷所述隊首IP的響應時間是否低于預設閾值；

若所述隊首IP的響應時間低于或等于預設閾值，則將隊首IP發送給客戶端；

接收客戶端返回的所述隊首IP請求成功的反饋信息，將隊首IP移動至所述IP隊列的隊尾位置。

一種管理IP代理池的裝置，包括：

響應時間判斷模塊，用于接收到客戶端的IP使用請求，根據輪詢原則調取IP隊列處于隊首位置的隊首IP，判斷所述隊首IP的響應時間是否低于預設閾值；

隊首IP發送模塊，用于若所述隊首IP的響應時間低于或等于預設閾值，則將隊首IP發送給客戶端；

隊首IP移動模塊，用于接收客戶端返回的所述隊首IP請求成功的反饋信息，將隊首IP移動至所述IP隊列的隊尾位置。

本發明提供一種計算機設備，包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機可讀指令，所述處理器執行所述計算機可讀指令時實現上述一種管理IP代理池的方法。

第四方面，本發明提供一個或多個存儲有計算機可讀指令的可讀存儲介質，所述計算機可讀指令被一個或多個處理器執行時，使得所述一個或多個處理器執行如上述一種管理IP代理池的方法。

本發明提供的一種管理IP代理池的方法、裝置、計算機設備及存儲介質，通過接收到客戶端的IP使用請求，根據輪詢原則調取IP隊列處于隊首位置的隊首IP，判斷所述隊首IP的響應時間是否低于預設閾值，實現了IP負載的均衡性。基于若所述隊首IP的響應時間低于或等于預設閾值，則將隊首IP發送給客戶端，實現了高質量的代理IP的充分利用，從本質上提高了客戶端所獲得的代理IP的質量。基于接收客戶端返回的所述隊首IP請求成功的反饋信息，將隊首IP移動至所述IP隊列的隊尾位置，實現了一定時間內同一個代理IP只被客戶端獲取到一次。通過上述方法，本發明既實現了IP負載的均衡性，又實現了高質量的代理IP的充分利用，從本質上提高了客戶端所獲得的代理IP的質量。此外，本發明也實現了一定時間內同一個代理IP只被客戶端獲取到一次，避免了同一個代理IP被多個客戶端同時使用而造成的卡頓或被封鎖的情況，從而更進一步的保證了代理IP的穩定性和有效性。