[發明專利]一種提高代理IP利用率的采集方法

在審

• 申請號: 201510436629.5
• 申請日: 2015-07-23
• 公開（公告）號: CN105162830A
• 公開（公告）日: 2015-12-16
• 發明（設計）人: 孫海峰;王傳超;邱繼釗
• 申請（專利權）人: 浪潮軟件集團有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 姜明

技術領域

本發明涉及數據采集領域，具體地說是一種涉及搜索、數據分布式存儲、數據采集、代理IP等技術的提高代理IP利用率的采集方法。

背景技術

代理IP（代理服務器）英文全稱是（ProxyServer），其功能就是代理網絡用戶去取得網絡信息。提供代理服務的電腦系統或其它類型的網絡終端稱為代理服務器（英文：ProxyServer）。現有技術中，一個完整的代理請求過程為：客戶端首先與代理服務器創建連接，接著根據代理服務器所使用的代理協議，請求對目標服務器創建連接、或者獲得目標服務器的指定資源。

代理服務器不僅能顯著提高瀏覽速度和效率，更重要的是：它還是Internet鏈路級網關所提供的一種重要的安全功能，能夠突破自身IP訪問限制，突破IP封鎖，隱藏真實IP，有利于保障網絡終端的隱私或安全，防止攻擊。

目前有上百臺服務器進行互聯網采集，而云服務器網段只有幾個。分析被封規則可知，現有技術是根據網段進行批量禁止訪問的，這樣就造成了大量的服務器閑置，再添加服務器也無濟于事。

更換代理IP時，如何不讓同一個代理IP被多臺采集節點使用，并且采集程序能自動更換IP，已經成為采集中遇到的難題。

發明內容

本發明的技術任務是針對上述現有技術的不足，提供一種提高代理IP利用率的采集方法。該方法能夠使采集系統避開被封的情況，有效地提高數據采集效率。

本發明的技術任務是按以下方式實現的：一種提高代理IP利用率的采集方法，其特點通過建立代理IP資源池對代理IP進行統一管理分配，采集程序調用資源池中的代理IP。

優選為優選，上述采集方法的具體步驟如下：

（1）通過代理IP接口，實時獲取IP及端口；

（2）將代理IP及端口信息存入MongoDB中；

（3）通過MongoDB搜索，將代理IP進行可用性篩選；

（4）根據被封程度，采集程序配置獲取代理IP的周期；

（5）更換代理IP，采集程序自動處于等待狀態；

（6）將過期代理IP進行清除。

進一步的，步驟（5）中，采集程序可以根據時間間隔或者采集次數調用資源池中的代理IP。

與現有技術相比，本發明的提高代理IP利用率的采集方法具有以下有益效果：

（一）將代理IP進行統一管理分配，可以有效提高代理IP利用率，使采集系統避開被封的情況；

（二）本發明方法可運行于各種采集系統，具有易于實現、適應面廣等特點，具有良好的推廣應用價值。

附圖說明

附圖1是本發明提高代理IP利用率的采集方法的流程圖。

具體實施方式

參照說明書附圖以具體實施例對本發明的提高代理IP利用率的采集方法作以下詳細地說明。

實施例：

為了快速搜索及分配資源池中的代理IP信息，進行以下幾步部署：

第一步，部署MongoDB分布式存儲節點，即，建立MongoDB分布式存儲庫；

第二步，安裝分析過濾代理IP可用性系統；

第三步，調用MongoDB搜索接口；

第四步，配置管理采集程序更換代理IP的方式。

如附圖1所示，本發明提高代理IP利用率的采集方法的具體步驟如下：

（1）通過代理IP接口，實時獲取IP及端口；

（2）將代理IP及端口信息存入MongoDB中；

（3）搜索分析庫中的IP可用性，即，通過MongoDB搜索，將代理IP進行可用性篩選；

（4）根據被封程度，采集程序配置獲取代理IP的周期；

（5）采集程序根據時間間隔或者采集次數調用資源池中的代理IP，采集程序自動處于等待狀態；

（6）將過期代理IP進行清除。