[發明專利]一種面向WEB服務的通用爬蟲引擎系統及其工作方法

無效

• 申請號: 201110120161.0
• 申請日: 2011-05-10
• 公開（公告）號: CN102184227A
• 公開（公告）日: 2011-09-14
• 發明（設計）人: 趙耀;鄒華;帖晶;楊放春;劉志晗;李靜林;林榮恒;孫其博
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 夏憲富

1.一種面向WEB服務的通用爬蟲引擎系統，其特征在于：所述系統設有下述三種構件：

控制中心，為該系統的控制中樞，負責總控和管理整個操作過程，啟動整個爬蟲抓取工作的起點，并決定整個抓取任務的開始和結束：從隊列管理器中獲取URL鏈接、即統一資源定位符或網頁地址，將獲取的URL鏈接傳遞給線程池中的處理線程，處理線程將該URL鏈接送至處理器鏈由其各個子處理器鏈順序進行相應處理，其中分析保存鏈能夠處理結構化WEB服務和非結構化WEB服務，對于非結構化WEB服務的URL鏈接和網頁內容分別進行URL鏈接和網頁的分析過濾，并將抓取的原始網頁保存于儲藏庫；設有五個功能模塊：隊列管理器、處理器鏈、線程池、策略中心和域名管理系統DNS；處理器鏈中的分析保存鏈為處理結構化WEB服務設有結構化WEB服務處理器，為處理非結構化WEB服務設有：URL得分處理器、頁面得分處理器和保存文本內容處理器；

儲藏庫，用于保存該系統獲取的原始網頁、系統解析后的純文本網頁和系統產生的日志信息，并設有存儲該三類信息的三個數據庫：爬蟲抓取的原始網頁的網頁庫，系統分析而提取的網頁內容的文本庫，運行期間產生的各種日志信息的日志庫；

特征項詞庫，包括非結構化WEB服務URL鏈接的特征項詞庫及其服務網頁的特征項詞庫，前者用于預存該系統的非結構化WEB服務URL鏈接的特征項信息，在URL鏈接進入處理器鏈的URL得分處理器時構造特征項詞庫的向量；后者用于預存該系統的非結構化WEB服務網頁的特征項信息，在URL鏈接進入處理器鏈的頁面得分處理器時構造特征項詞庫的向量；這兩個特征項詞庫是預先分別使用URL鏈接的特征項構造方法和服務網頁的特征項構造方法提前構建的。

2.根據權利要求1所述的系統，其特征在于：所述系統的控制中心的五個功能模塊分別具有下述功能：

隊列管理器，負責依據策略中心配置的不同策略，將系統新抽取的URL鏈接根據該URL鏈接自身的優先級放入不同的優先級隊列，并管理每個隊列及隊列中每個URL鏈接的生命周期；這些隊列根據系統預定義的優先級分為高、中、低三種和一個存放種子URL鏈接或需要提前預處理的最高優先級的URL鏈接種子隊列；隊列管理器還對URL鏈接執行去重處理，即辨別重復URL鏈接；

處理器鏈，為一個或多個完成不同功能的子處理器鏈的集合，這些子處理器鏈按照預定順序串接位于該處理器鏈中，每個URL鏈接根據各個子處理器鏈的規則要求通過一個、多個、或全部的子處理器鏈的處理，該處理器鏈根據系統自身功能的變化需求，能夠添加自定義的子處理器鏈或修改原有的子處理器鏈功能，這個特性集中體現了所述系統的可擴展性和可定制性；

線程池，負責管理多個線程的生命周期：包括新建空閑線程、銷毀空閑進程、啟動新線程與停止線程；為提高系統的并發性和爬蟲效率，該線程池設有多個線程，其中每個線程將URL鏈接順序送至處理器鏈中的各處理器進行處理；

策略中心，用于配置和調整隊列管理器的管理策略，該系統默認的隊列管理策略是優先級策略；通過策略中心，隊列管理器能夠根據域名、或優先級、或同時兼顧優先級和域名對URL鏈接分類，策略中心還能動態調整隊列管理器的策略，并反饋給控制中心，以便控制中心采用不同的策略實時控制URL的訪問先后順序；策略中心還給線程池實時反饋系統的CPU利用率與內存使用率等的資源消耗信息，以使線程池控制當前的活動線程的數量和線程的狀態，實現系統資源的實時最優化；

域名管理系統DNS，負責將目標服務所在設備的域名轉換為網絡能識別的IP地址，并保存解析結果，避免系統每次都要解析域名，加快系統的下載速度。