[發明專利]網頁中的頁面正文提取方法和裝置

有效

• 申請號: 201611218222.6
• 申請日: 2016-12-26
• 公開（公告）號: CN106874346B
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 鄢軍;佟京;劉城;孫政
• 申請（專利權）人: 微夢創科網絡科技（中國）有限公司
• 主分類號: G06F16/958
• 分類號: G06F16/958
• 代理公司: 北京卓嵐智財知識產權代理事務所(特殊普通合伙) 11624
• 代理人: 李延容;張建秀

1.一種網頁中的頁面正文提取方法，其特征在于，包括：

加載待提取的頁面；

確定所述頁面中的文章標題對應的標簽元素；

以所述文章標題對應的標簽元素作為基準點，獲取所述頁面中所述文章標題之前的標簽元素列表和所述文章標題之后的標簽元素列表；

基于所述文章標題對應的標簽元素，從所述文章標題之前的標簽元素列表和所述文章標題之后的標簽元素列表中，確定出所述頁面中的正文頁面塊對應的標簽元素；

將確定出的正文頁面塊對應的標簽元素對應的頁面塊中的內容作為頁面正文提取；

確定所述頁面中的文章標題對應的標簽元素，包括：

通過識別所述頁面中的文章信息數據，確定文章信息數據所在的標簽元素；

所述文章信息數據至少包括以下數據之一：文章來源、文章作者、文章日期、文章字體和文章作者；

將所述文章信息數據所在的標簽元素之前的各標簽元素中，第一個滿足預設的標題特征的標簽元素作為所述文章標題對應的標簽元素。

2.根據權利要求1所述的方法，其特征在于，所述預設的標題特征至少包括以下特征之一：沒有孩子節點、節點內容不為空、不是時間格式的文本、文本含有最多一個標點字符。

3.根據權利要求1所述的方法，其特征在于，基于所述文章標題對應的標簽元素，從所述文章標題之前的標簽元素列表和所述文章標題之后的標簽元素列表中，確定出所述頁面中的正文頁面塊對應的標簽元素，包括：

對所述文章標題之前的標簽元素進行遍歷：計算各個標簽元素與所述文章標題所對應的標簽元素之間的距離；刪除距離大于第一預設閾值的標簽元素；對于未刪除的標簽元素，根據各個標簽元素的標簽字符串比、和各個標簽元素與所述文章標題所對應的標簽元素之間的距離，計算各個標簽元素的特征值；選取特征值最大的標簽元素，作為第一標簽元素；

對所述文章標題之后的標簽元素進行遍歷：計算各個標簽元素與所述文章標題所對應的標簽元素之間的距離；刪除距離小于第二預設閾值的標簽元素；對于未刪除的標簽元素，根據各個標簽元素的標簽字符串比、和各個標簽元素與所述標題所對應的標簽元素之間的距離，計算各個標簽元素的特征值；選取特征值最大的標簽元素，作為第二標簽元素；

比較所述第一標簽元素的特征值和所述第二標簽元素的特征值，將特征值較大的標簽元素作為所述頁面中的正文頁面塊對應的標簽元素。

4.根據權利要求3所述的方法，其特征在于，通過以下公式計算各個標簽元素的標簽字符串比：

標簽元素的標簽字符串比＝標簽元素的文本長度/從標題所對應的標簽元素開始標簽內容長度。

5.一種網頁中的頁面正文提取裝置，其特征在于，包括：

加載模塊，用于加載待提取的頁面；

第一確定模塊，用于確定所述頁面中的文章標題對應的標簽元素；

獲取模塊，用于以所述文章標題對應的標簽元素作為基準點，獲取所述頁面中所述文章標題之前的標簽元素列表和所述文章標題之后的標簽元素列表；

第二確定模塊，用于基于所述文章標題對應的標簽元素，從所述文章標題之前的標簽元素列表和所述文章標題之后的標簽元素列表中，確定出所述頁面中的正文頁面塊對應的標簽元素；

提取模塊，用于將確定出的正文頁面塊對應的標簽元素對應的頁面塊中的內容作為頁面正文提取；

所述第一確定模塊包括：

第一確定單元，用于通過識別所述頁面中的文章信息數據，確定文章信息數據所在的標簽元素；所述文章信息數據至少包括以下數據之一：文章來源、文章作者、文章日期、文章字體和文章作者；

第二確定單元，用于將所述文章信息數據所在的標簽元素之前的各標簽元素中，第一個滿足預設的標題特征的標簽元素作為所述文章標題對應的標簽元素。