[發明專利]面向海量數據采集的分布式網絡爬蟲性能優化系統

在審

• 申請號: 201911110921.2
• 申請日: 2019-11-14
• 公開（公告）號: CN110866166A
• 公開（公告）日: 2020-03-06
• 發明（設計）人: 王維綱;張郭秋晨;張凱云;吳志成;吳艷林;紀綱;孫鵬;陳卓
• 申請（專利權）人: 北京京航計算通訊研究所
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/955
• 代理公司: 中國兵器工業集團公司專利中心 11011
• 代理人: 周恒

1.一種面向海量數據采集的分布式網絡爬蟲性能優化系統，其特征在于，所述分布式網絡爬蟲性能優化系統包括：初始化模塊、爬取模塊；其中，

所述初始化模塊用于新建一個去重字符串和一個垃圾鏈接特征字符串；

所述爬取模塊用于在主節點爬行器讀取到初始URL地址后，爬取初始URL地址，生成URL任務隊列；

所述爬取模塊還用于根據URL任務隊列進行網頁爬取，完成爬取工作。

2.如權利要求1所述的面向海量數據采集的分布式網絡爬蟲性能優化系統，其特征在于，所述初始化模塊包括：去重字符串生成單元、垃圾鏈接特征字符串生成單元；其中，

所述去重字符串生成單元用于在Redis內存數據庫中新建一個去重字符串；

所述垃圾鏈接特征字符串生成單元用于根據垃圾鏈接的典型特征，在Redis內存數據庫中新建一個垃圾鏈接特征字符串。

3.如權利要求2所述的面向海量數據采集的分布式網絡爬蟲性能優化系統，其特征在于，所述去重字符串中所有的位數值為0。

4.如權利要求3所述的面向海量數據采集的分布式網絡爬蟲性能優化系統，其特征在于，所述垃圾鏈接的典型特征包括：自動評論生成的鏈接，群發外部的鏈接。

5.如權利要求4所述的面向海量數據采集的分布式網絡爬蟲性能優化系統，其特征在于，所述爬取模塊包括：頁面爬行模塊、頁面分析模塊、鏈接處理模塊；

所述頁面爬行模塊用于在用戶根據數據采集主題，通過用戶中心設定初始URL地址的集合之后，接收主節點爬行器所讀取到的初始URL地址；

所述頁面爬行模塊還用于根據初始URL地址，對互聯網網頁發出請求；

互聯網網頁響應頁面爬行模塊的請求，并返回響應內容；

所述頁面分析模塊用于根據相關主題對響應內容進行解析，提取內容保存到數據庫以備查詢，同時獲得新URL地址；

所述鏈接處理模塊用于對新URL地址進行處理，保存到Redis內存數據庫的URL任務隊列中，形成URL任務隊列。

6.如權利要求5所述的面向海量數據采集的分布式網絡爬蟲性能優化系統，其特征在于，所述鏈接處理模塊包括：垃圾鏈接過濾模塊、鏈接去重處理模塊、壓縮處理模塊和序列化處理模塊；

所述垃圾鏈接過濾模塊用于根據垃圾鏈接特征字符串作用于新URL地址，識別新URL地址是否包含垃圾鏈接特征，如果URL地址包含垃圾鏈接特征，則判斷該URL地址屬于垃圾鏈接，直接過濾掉，否則進行鏈接去重處理模塊的處理；

所述鏈接去重處理模塊用于對垃圾鏈接特征過濾后的URL地址，先經過密碼散列函數進行壓縮處理為相同位數，然后被k個不同的哈希函數運算，最終得到k個獨立的哈希值，根據該k個獨立的哈希值，判斷Redis內存數據庫中去重字符串中哈希值對應的字符位的數值是否全為1，如果數值全為1，則該URL地址屬于重復鏈接，直接過濾掉；否則，該URL地址不屬于重復鏈接；

所述壓縮處理模塊用于對鏈接去重處理模塊去重后不屬于重復鏈接的URL地址，進行加密壓縮算法處理；

所述序列化處理模塊用于將壓縮后的URL地址和頁面解析函數按照鍵值對數據格式，進行序列化處理；并將該序列化處理后的URL地址，保存到到Redis內存數據庫的URL任務隊列中，形成URL任務隊列。

7.如權利要求6所述的面向海量數據采集的分布式網絡爬蟲性能優化系統，其特征在于，所述鏈接去重處理模塊，對于不屬于重復鏈接的URL地址，還將該URL地址所對應的，去重字符串中哈希值對應的字符位不為1的數值全部設置為1。

8.如權利要求6所述的面向海量數據采集的分布式網絡爬蟲性能優化系統，其特征在于，所述k的值包括5、7、9、11。