[發明專利]一種面向用戶的WEB信息自動提取方法

在審

• 申請號: 201410758981.6
• 申請日: 2015-08-03
• 公開（公告）號: CN104504016A
• 公開（公告）日: 2015-07-29
• 發明（設計）人: 劉文婷
• 申請（專利權）人: 河海大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 董建林

1.一種面向用戶的WEB信息自動提取方法，其特征在于包含如下步驟：

(1)根據用戶給定的WEB站點鏈接列表，依次遍歷每個WEB站點，獲得用戶關注頁面；

(2)識別WEB站點中每個頁面的鏈接地址并存儲；

(3)提取用戶關注頁面的標題、發布時間、頁面正文；

(4)將提取的內容格式規范化后存儲于數據庫和文件系統中，其中頁面標題、發布時間存儲于數據庫中，頁面正文存儲于文件系統中；

(5)去除抽取的重復信息。

2.根據權利要求1所述的一種面向用戶的WEB信息自動提取方法，其特征在于：所述步驟(1)中，用戶給定的鏈接列表為用戶手動輸入或從系統默認的WEB站點列表中選擇獲得。

3.根據權利要求1所述的一種面向用戶的WEB信息自動提取方法，其特征在于：所述步驟(2)識別連接地址并存儲具體包括以下步驟：

2a)對于每個WEB站點，以一個URL作為信息來源，根據HTML文檔的DOM樹結構獲得相應WEB頁面的HTML源代碼，再根據WEB頁面的編碼格式獲得WEB頁面的分頁鏈接格式，根據分頁鏈接格式獲得分頁的全部鏈接地址，再根據分頁鏈接地址獲得所有分頁的HTML源代碼；

2b)依次獲取用戶關注的WEB站點列表中每個URL，連接并解析相應頁面，提取頁面中所有鏈接地址后，逐個判斷這些鏈接是否為網站內部鏈接，且是否已存在于待檢索鏈接隊列或已檢索鏈接隊列中，如果某一鏈接被判定為該網站內部鏈接，且不存在于待檢索鏈接隊列與已檢索鏈接隊列中，則將該鏈接地址存入待檢索鏈接隊列，否則不對該鏈接地址進行操作，直接獲取下一個鏈接進行判斷；

2c)在該頁面所有鏈接處理完畢后，系統將從待檢索鏈接隊列中取出下一個鏈接地址替代用戶關注的WEB站點的首頁鏈接地址，重復步驟2a)到2b)，處理完畢后，將該鏈接存入已檢索鏈接隊列，然后繼續從待檢索鏈接隊列中提取下一鏈接地址，如此循環，直到待檢索鏈接隊列為空，則結束當前站點的檢索工作，開始對下一站點進行檢索。

4.根據權利要求1所述的一種面向用戶的WEB信息自動提取方法，其特征在于：所述步驟(3)具體包括以下步驟：

3a)提取標題,從目標鏈接隊列中逐個提取信息鏈接地址，并對該鏈接地址進行連接與頁面解析，過濾出該頁面HTML文檔中的<title>標簽，提取出符合要求的節點存入節點列表，然后獲取節點的顯示文本信息，并對所提取的信息進行適應性修改；

3b)提取正文，提取主體內容，過濾出HTML文檔中的<p>節點、<div>節點、<div>節點作為先輩節點的節點、<a>節點以及擁有后代節點<a>的節點；

3c)提取發布時間，當頁面解析完成后通過正則表達式匹配法提取出信息發布時間。

5.根據權利要求1所述的一種面向用戶的WEB信息自動提取方法，其特征在于：所述步驟(5)去除抽取重復的信息具體為：對一個信息站點進行過一次采集后，為了避免對已采集信息的重復采集，僅對新產生的頁面進行采集，提取信息基本屬性后，在數據庫中查詢該信息是否存在，如果存在，直接提取下一信息鏈接進行操作，否則，將該條信息存入系統。