[發(fā)明專利]一種分布式爬蟲的優(yōu)化方法

在審

• 申請?zhí)枺?/td>: 201611065662.2
• 申請日: 2016-11-28
• 公開（公告）號: CN108121706A
• 公開（公告）日: 2018-06-05
• 發(fā)明（設(shè)計）人: 李磊;王偉;韓凱;朱立松
• 申請（專利權(quán)）人: 央視國際網(wǎng)絡(luò)無錫有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 常州佰業(yè)騰飛專利代理事務(wù)所(普通合伙) 32231
• 代理人: 王玉平

1.一種分布式爬蟲的優(yōu)化方法，其特征在于：所述該分布式爬蟲的優(yōu)化方法具體步驟如下：

S1：調(diào)度中心下發(fā)任務(wù)，一個任務(wù)中包括一個URL和此URL以前抓取結(jié)果的DNA特征；

S2：爬蟲按URL抓取網(wǎng)頁內(nèi)容；

S3：解析器解析網(wǎng)頁內(nèi)容，計算網(wǎng)頁DNA；

S4：和以前的DNA進(jìn)行對比，如果DNA差異小于一定閾值，直接向數(shù)據(jù)倉庫返回網(wǎng)頁內(nèi)容未更新，如果網(wǎng)頁更新較多，則把網(wǎng)頁內(nèi)容返回給數(shù)據(jù)倉庫；

S5：解析器解析網(wǎng)頁中的鏈接，在本地先用布隆過濾器進(jìn)行去重；

S6：把通過了本地去重的URL進(jìn)行Hash，按Hash結(jié)果發(fā)送給對應(yīng)的中心去重模塊，如果該模塊不在線則依次交給下一個節(jié)點(diǎn)。

2.根據(jù)權(quán)利要求1所述的一種分布式爬蟲的優(yōu)化方法，其特征在于：所述步驟S4中，爬蟲系統(tǒng)在計算網(wǎng)頁更新頻率時，不單獨(dú)采用估算預(yù)測的方法，而是額外結(jié)合了網(wǎng)頁DNA，發(fā)現(xiàn)網(wǎng)頁DNA沒有足夠多的變化時，直接不用返還網(wǎng)頁內(nèi)容。

3.根據(jù)權(quán)利要求1所述的一種分布式爬蟲的優(yōu)化方法，其特征在于：所述步驟S5中，在布隆過濾器中先建立一個小的白名單，存儲可能被誤判的URL地址。

4.根據(jù)權(quán)利要求1所述的一種分布式爬蟲的優(yōu)化方法，其特征在于：所述步驟S5中，在使用布隆過濾器進(jìn)行去重時，現(xiàn)在采集點(diǎn)進(jìn)行初步去重，然后交給全局的URL去重集群進(jìn)行去重。

5.根據(jù)權(quán)利要求1所述的一種分布式爬蟲的優(yōu)化方法，其特征在于：所述步驟S6中，在去重集群中各節(jié)點(diǎn)按URL的Hash值各負(fù)責(zé)其中一部分，按Hash值形成一個環(huán)，若去重集群中某一節(jié)點(diǎn)掉線，其掉線節(jié)點(diǎn)的工作由下一節(jié)點(diǎn)接替。