[發(fā)明專利]一種分布式爬蟲(chóng)引擎的URL抓取方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201611037722.X
• 申請(qǐng)日: 2016-11-23
• 公開(kāi)（公告）號(hào): CN106776768B
• 公開(kāi)（公告）日: 2018-02-02
• 發(fā)明（設(shè)計(jì)）人: 王琦;林子忠;歐偉;茅曉萍
• 申請(qǐng)（專利權(quán)）人: 福建六壬網(wǎng)安股份有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30;G06F9/50
• 代理公司: 福州科揚(yáng)專利事務(wù)所35001
• 代理人: 徐開(kāi)翟

1.一種分布式爬蟲(chóng)引擎的URL抓取方法，其特征在于，包括如下步驟：

S100：采集URL任務(wù)并存儲(chǔ)；

S200：基于網(wǎng)站哈希值的任務(wù)劃分策略，將具有相同域名的URL集合分配給同一節(jié)點(diǎn)進(jìn)行爬取，并匯總爬取結(jié)果；

S300：將所爬取的URL任務(wù)所對(duì)應(yīng)的原始網(wǎng)頁(yè)進(jìn)行分布式并行聚類，去除噪聲URL任務(wù)；

S400：消除去除噪聲后的URL任務(wù)內(nèi)重復(fù)的URL任務(wù)；

S500：判斷已經(jīng)過(guò)消除重復(fù)的URL任務(wù)已抓取層數(shù)是否小于預(yù)設(shè)值，若是則返回步驟S300；若否則執(zhí)行步驟S600；

S600：將每一層抓取的URL任務(wù)對(duì)應(yīng)的原始網(wǎng)頁(yè)進(jìn)行合并；

在步驟S300中，在進(jìn)行分布式并行聚類之前還包括，應(yīng)用網(wǎng)頁(yè)的DOM樹(shù)結(jié)構(gòu)初步去除噪聲URL任務(wù)，包括：

S301：利用<td>、<p>、<div>html標(biāo)簽對(duì)頁(yè)面進(jìn)行分割，去掉一些與渲染相關(guān)但是同URL任務(wù)無(wú)關(guān)的標(biāo)簽；

S302：利用鏈接文字比率來(lái)對(duì)噪聲鏈接進(jìn)行定位，若節(jié)點(diǎn)的文字比率高于1/4則將該節(jié)點(diǎn)所在的鏈接判定為初始噪聲鏈接并去除；

在步驟S300中，所述分布式并行聚類，去除噪聲URL任務(wù)包括如下步驟：

S311：采用映射歸約方式對(duì)原始網(wǎng)頁(yè)進(jìn)行域名解析，進(jìn)行初步分塊；

S312：將各個(gè)塊進(jìn)行singlepass聚類，并采用映射歸約的方式將聚類結(jié)果分成多個(gè)族；

S313：依據(jù)已有噪聲樣本，應(yīng)用映射歸約方式將聚類結(jié)果的多個(gè)族進(jìn)行相似度計(jì)算，依據(jù)相似度值去除噪聲URL任務(wù)；

S314：應(yīng)用映射歸約方式存儲(chǔ)去噪后的URL任務(wù)；

步驟S400中，所述消除去除噪聲后的URL任務(wù)內(nèi)重復(fù)的URL任務(wù)，包括：

S401：將所采集的URL任務(wù)加入到訪問(wèn)列表中，記錄URL任務(wù)的訪問(wèn)時(shí)間，并設(shè)置重復(fù)次數(shù)為1；

S402：將去除噪聲后的URL任務(wù)依次與訪問(wèn)列表和緩存列表進(jìn)行比對(duì)，若在訪問(wèn)列表或緩存列表中查詢到URL任務(wù)，則放棄該URL任務(wù)并更新URL任務(wù)訪問(wèn)時(shí)間及重復(fù)次數(shù)；若未在訪問(wèn)列表或緩存列表中查詢到URL任務(wù)，則訪問(wèn)所存儲(chǔ)的URL任務(wù)；

S403：判斷所存儲(chǔ)的URL任務(wù)中是否存在所述URL任務(wù)，若是則放棄該URL任務(wù)，若否則更新訪問(wèn)列表和URL任務(wù)集。

2.根據(jù)權(quán)利要求1所述的分布式爬蟲(chóng)引擎的URL抓取方法，其特征在于：在進(jìn)行分布式并行聚類過(guò)程中，所述相似度使用最大公共字串長(zhǎng)度占兩個(gè)URL任務(wù)長(zhǎng)度比例的均值度量。