[發明專利]一種基于實測帶寬的多智能體互聯網數據采集任務分配方法

有效

• 申請號: 201710052671.6
• 申請日: 2017-01-24
• 公開（公告）號: CN106886459B
• 公開（公告）日: 2019-07-23
• 發明（設計）人: 沈頌
• 申請（專利權）人: 浙江工商大學
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/48;G06F16/951
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 劉靜;邱啟旺

本發明公開了一種基于實測帶寬的多智能體互聯網數據采集任務分配方法，假定在環境中存在L個目標任務T₁，T₂，…,T_L和K個智能體節點A₁,A₂,…,A_K，若K>L，則執行單任務分配算法，否則執行多任務分配算法。在多任務分配時，傳統的分布式爬蟲系統一般采用隨機任務調度的機制，這種機制的問題在于沒有考慮多個采集節點能力的差異因素，從而影響了分布式爬蟲系統的數據采集性能。本發明針對上述不足，提供一種基于實測帶寬，合理分配分布式網絡爬蟲數據采集任務的方法，優先為采集能力匹配度高的節點分配采集任務，從而使得分布式數據采集系統獲得較高的采集性能，提高了互聯網信息的爬取效率。

技術領域

本發明涉及數據采集領域，尤其涉及一種基于實測帶寬的多智能體互聯網數據采集任務分配方法。

背景技術

為滿足海量數據爬取的需求，現代爬蟲系統一般采用大規模分布式架構。在這種架構中，如何高效配置多個數據采集節點的資源成為提升爬蟲系統性能的關鍵問題。傳統的分布式爬蟲系統一般采用隨機任務調度的機制或類似機制。這種機制的問題在于沒有考慮爬取目標的地理位置差異，以及多個采集節點在采集、存儲方面的帶寬差異因素，更沒有運用相應的帶寬測試方法，因此無法做到資源的最優配置，從而影響了分布式爬蟲系統的數據采集性能。

發明內容

本發明為克服上述不足之處，設計了一種基于實測帶寬的任務分配方法，該方法用于將多個采集任務分配給多個采集節點，根據每個采集節點的狀態信息、實測帶寬情況以及待分配任務的信息，經過算法處理后得出任務分配結果。

本發明的目的是通過以下技術方案來實現的：一種基于實測帶寬的多智能體互聯網數據采集任務分配方法，具體為：假定在環境中存在L個目標任務T₁，T₂，…,T_L和K個智能體節點A₁,A₂,…,A_K，若K>L，則執行單任務分配算法；否則執行多任務分配算法；

所述的單任務分配算法步驟如下：

(1)針對每個智能體節點A_i與任務T_j，計算區域判決指標c_ij＝(任務數+1)/(B_C+B_S)，找出區域判決指標計算結果最小的節點。

B_C表示任務的目標區域與智能體所在區域的匹配度，計算方法如下：由智能體在建立種子信息表時先行從該種子頁面爬取根頁面三次，通過(爬取位數)/(爬取所消耗的時間)獲取爬行帶寬，存入種子庫中相應B_C字段。

B_S表示存儲區域與智能體所在區域的匹配度，計算方法如下：由智能體在建立種子信息表時先行將一個標準100KB文件存入存儲區域三次，通過(存取位數)/(存取所消耗的時間)獲取存儲帶寬，存入種子庫中相應B_S字段。

(2)將待分配的任務分配給步驟(1)計算得到的節點。

所述的多任務分配算法步驟如下：

(1)在所有任務中每次分配K項，直到剩余任務數小于K。剩余任務可以在任務數增加后再行分配，也可以以單任務方式分配；

(2)已知智能體A_i(i＝1,2,…,K)完成目標任務T_j(j＝1,2,…,K)的代價矩陣為C＝(c_ij)(i,j＝1,2,…,K)，其中c_ij的計算方法與單任務時相同；