[發明專利]網頁信息處理裝置和網頁信息處理方法

有效

• 申請號: 201110319563.3
• 申請日: 2011-10-20
• 公開（公告）號: CN103064845A
• 公開（公告）日: 2013-04-24
• 發明（設計）人: 王放;高勇;郭永福;陳沛
• 申請（專利權）人: 北京中搜網絡技術股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京市盈科律師事務所 11344
• 代理人: 趙成偉

1.一種網頁信息處理裝置，其特征在于，包括：

網頁處理模塊，將網頁處理為DOM結構；

權重計算模塊，遍歷所述DOM結構的節點，根據所述DOM結構中的非文本節點的特征，計算所述非文本節點的樣式權重，根據所述DOM結構中的文本節點的特征，計算所述文本節點的內容權重，其中，所述非文本節點的樣式權重累加到其子節點上；

結果篩選模塊，根據所述文本節點的樣式權重和內容權重，得到所述文本節點的標題權重，以判斷是否將所述文本節點的內容作為候選標題，并從所述文本節點的內容中提取時間串，作為候選發布時間；

結果生成模塊，從所有候選標題和所有候選發布時間，選出所述網頁的信息標題和信息發布時間。

2.根據權利要求1所述的網頁信息處理裝置，其特征在于，所述結果篩選模塊比較所述標題權重與全局最大標題權重，并在所述標題權重大于所述全局最大標題權重時，將所述文本節點的內容作為所述候選標題，并使用所述標題權重更新所述全局最大標題權重，如果所述全局最大標題權重不存在，將所述標題權重作為所述全局最大標題權重，并將所述文本節點的內容作為所述候選標題。

3.根據權利要求2所述的網頁信息處理裝置，其特征在于，還包括：

類型分析模塊，根據所述文本節點之上的非文本節點的類型，來判斷是否啟用結果篩選模塊。

4.根據權利要求1至3中任一項所述的網頁信息處理裝置，其特征在于，還包括：

正文選取模塊，在所述文本節點的內容滿足預定條件時，將所述文本節點的內容作為大段文本，并將第一個大段文本的位置作為所述網頁的正文的起始位置，將最后一個大段文本的位置作為所述正文的結束位置；

所述結果生成模塊根據所述正文的起始位置和結束位置，來從所述所有候選發布時間中選出所述信息發布時間，并根據所述信息發布時間的位置，從所述所有候選標題中選出所述信息標題。

5.根據權利要求4所述的網頁信息處理裝置，其特征在于，所述結果生成模塊將所述信息發布時間之前的最后一個標題作為前標題，將所述信息發布時間之后的第一個標題作為后標題，比較所述前標題與所述后標題的標題權重和/或距所述信息發布時間的距離，并根據比較結果，從所述前標題和所述后標題中選出所述信息標題。

6.一種網頁信息處理方法，其特征在于，包括：

步驟202，網頁處理模塊將網頁處理為DOM結構；

步驟204，權重計算模塊遍歷所述DOM結構的節點，根據所述DOM結構中的非文本節點的特征，計算所述非文本節點的樣式權重，根據所述DOM結構中的文本節點的特征，計算所述文本節點的內容權重，其中，所述非文本節點的樣式權重累加到其子節點上；

步驟206，結果篩選模塊根據所述文本節點的樣式權重和內容權重，得到所述文本節點的標題權重，以判斷是否將所述文本節點的內容作為候選標題，并從所述文本節點的內容中提取時間串，作為候選發布時間；

步驟208，結果生成模塊從所有候選標題和所有候選發布時間，選出所述網頁的信息標題和信息發布時間。

7.根據權利要求6所述的網頁信息處理方法，其特征在于，所述步驟206具體包括：

所述結果篩選模塊比較所述標題權重與全局最大標題權重，并在所述標題權重大于所述全局最大標題權重時，將所述文本節點的內容作為所述候選標題，并使用所述標題權重更新所述全局最大標題權重，

如果所述全局最大標題權重不存在，將所述標題權重作為所述全局最大標題權重，并將所述文本節點的內容作為所述候選標題。

8.根據權利要求7所述的網頁信息處理方法，其特征在于，在所述步驟206之前，還包括：

類型分析模塊根據所述文本節點之上的非文本節點的類型，來判斷是否進入所述步驟206。

9.根據權利要求6至8中任一項所述的網頁信息處理方法，其特征在于，所述步驟206中，還包括：

正文選取模塊在所述文本節點的內容滿足預定條件時，將所述文本節點的內容作為大段文本，并將第一個大段文本的位置作為所述網頁的正文的起始位置，將最后一個大段文本的位置作為所述正文的結束位置；

所述步驟208具體包括：所述結果生成模塊根據所述正文的起始位置和結束位置，來從所述所有候選發布時間中選出所述信息發布時間，并根據所述信息發布時間的位置，從所述所有候選標題中選出所述信息標題。

10.根據權利要求9所述的網頁信息處理方法，其特征在于，所述步驟208具體包括：

所述結果生成模塊將所述信息發布時間之前的最后一個標題作為前標題，將所述信息發布時間之后的第一個標題作為后標題，比較所述前標題與所述后標題的標題權重和/或距所述信息發布時間的距離，并根據比較結果，從所述前標題和所述后標題中選出所述信息標題。