[發明專利]云環境下分布式網絡信息采集方法

有效

• 申請號: 201510020854.0
• 申請日: 2015-01-15
• 公開（公告）號: CN104699757B
• 公開（公告）日: 2018-03-13
• 發明（設計）人: 張登銀;于建坤
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 江蘇愛信律師事務所32241
• 代理人: 唐小紅

1.一種云環境下分布式網絡信息采集方法，其特征在于,包含以下步驟：

1)模型的組成：頁面信息采集子系統、頁面信息數據處理子系統；

2)頁面信息采集系統創建服務監聽端口，接收中心節點分配的URL集合，當接收到中心節點分配的URL集合后，觸發步驟3)；

3)頁面信息采集系統采用異步的方式，對URL集合中的每個頁面進行抓取，抓取完成后，將包含所有頁面信息的結果返回給中心節點；

4)中心節點將接收到的抓取的結果放到待處理頁面集合中，交由云計算平臺對頁面信息進行處理，并且將頁面信息采集服務器加入空閑的服務器列表；

5)云計算平臺提取出頁面中所有的超鏈接，并且對超鏈接進行過濾，將過濾出來的URL放入到待分配的URL集合中；

6)中心節點根據未分配的服務器列表，根據URL分配的策略，將待分配的URL分配給各個頁面信息采集服務器，重復步驟2)，直到待分配URL列表為空；

所述步驟1)中，

系統的模型由1個云計算中心以及n個邊緣節點組成，在節點的功能上，邊緣節點運行頁面信息采集子系統，專門負責頁面信息的采集，云計算中心負責數據的處理、URL集合的分配，在節點的連接方式上，呈現出星型的物理結構；

所述步驟6)，中心節點按照不同的邊緣節點的頁面抓取效率，在一個基數k的基礎上，按照下述公式，為不同的邊緣節點分配不同的URL個數：

n(x+1)=Σj=0count-1tjti*count*n(x)]]>

其中：count表示邊緣節點的數量，t_i表示第i個邊緣節點抓取所耗費的平均時間，n(0)＝k。