[發(fā)明專利]云環(huán)境下分布式網(wǎng)絡(luò)信息采集方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201510020854.0
• 申請(qǐng)日: 2015-01-15
• 公開（公告）號(hào): CN104699757B
• 公開（公告）日: 2018-03-13
• 發(fā)明（設(shè)計(jì)）人: 張登銀;于建坤
• 申請(qǐng)（專利權(quán)）人: 南京郵電大學(xué)
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 江蘇愛信律師事務(wù)所32241
• 代理人: 唐小紅

1.一種云環(huán)境下分布式網(wǎng)絡(luò)信息采集方法，其特征在于,包含以下步驟：

1)模型的組成：頁面信息采集子系統(tǒng)、頁面信息數(shù)據(jù)處理子系統(tǒng)；

2)頁面信息采集系統(tǒng)創(chuàng)建服務(wù)監(jiān)聽端口，接收中心節(jié)點(diǎn)分配的URL集合，當(dāng)接收到中心節(jié)點(diǎn)分配的URL集合后，觸發(fā)步驟3)；

3)頁面信息采集系統(tǒng)采用異步的方式，對(duì)URL集合中的每個(gè)頁面進(jìn)行抓取，抓取完成后，將包含所有頁面信息的結(jié)果返回給中心節(jié)點(diǎn)；

4)中心節(jié)點(diǎn)將接收到的抓取的結(jié)果放到待處理頁面集合中，交由云計(jì)算平臺(tái)對(duì)頁面信息進(jìn)行處理，并且將頁面信息采集服務(wù)器加入空閑的服務(wù)器列表；

5)云計(jì)算平臺(tái)提取出頁面中所有的超鏈接，并且對(duì)超鏈接進(jìn)行過濾，將過濾出來的URL放入到待分配的URL集合中；

6)中心節(jié)點(diǎn)根據(jù)未分配的服務(wù)器列表，根據(jù)URL分配的策略，將待分配的URL分配給各個(gè)頁面信息采集服務(wù)器，重復(fù)步驟2)，直到待分配URL列表為空；

所述步驟1)中，

系統(tǒng)的模型由1個(gè)云計(jì)算中心以及n個(gè)邊緣節(jié)點(diǎn)組成，在節(jié)點(diǎn)的功能上，邊緣節(jié)點(diǎn)運(yùn)行頁面信息采集子系統(tǒng)，專門負(fù)責(zé)頁面信息的采集，云計(jì)算中心負(fù)責(zé)數(shù)據(jù)的處理、URL集合的分配，在節(jié)點(diǎn)的連接方式上，呈現(xiàn)出星型的物理結(jié)構(gòu)；

所述步驟6)，中心節(jié)點(diǎn)按照不同的邊緣節(jié)點(diǎn)的頁面抓取效率，在一個(gè)基數(shù)k的基礎(chǔ)上，按照下述公式，為不同的邊緣節(jié)點(diǎn)分配不同的URL個(gè)數(shù)：

n(x+1)=Σj=0count-1tjti*count*n(x)]]>

其中：count表示邊緣節(jié)點(diǎn)的數(shù)量，t_i表示第i個(gè)邊緣節(jié)點(diǎn)抓取所耗費(fèi)的平均時(shí)間，n(0)＝k。