[發明專利]頁面正文提取方法和裝置

有效

• 申請號: 201810554392.4
• 申請日: 2018-06-01
• 公開（公告）號: CN108874934B
• 公開（公告）日: 2021-11-30
• 發明（設計）人: 熊凡
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G06F16/955
• 分類號: G06F16/955;G06F16/957
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 宋合成

1.一種頁面正文提取方法，其特征在于，包括：

根據待處理頁面的超文本標記語言代碼，確定所述待處理頁面對應的節點樹，其中，所述節點樹中的各節點分別為所述待處理頁面中的各頁面標簽；

根據預設的頁面標簽與權重值映射關系表，確定所述節點樹中各節點對應的初始權重值；

根據所述節點樹中各節點間的關系及各節點對應的初始權重值，由末端子節點至根節點，依次更新各父節點的權重值；

根據所述節點樹中各節點更新后的權重值，確定所述待處理頁面中的正文節點；

根據所述正文節點，獲取所述頁面中的正文；

所述根據預設的頁面標簽及權重值，確定所述節點樹中各節點對應的初始權重值，包括：

根據所述預設的頁面標簽與權重值映射關系表，確定所述節點樹中各節點是否在所述映射關系表中；

若第一節點在所述映射關系表中，則根據所述映射關系表，確定所述第一節點的初始權重值；

若第二節點未在所述映射關系表中，則根據與所述第二節點關聯的其它各節點分別對應的初始權重值，確定所述第二節點對應的初始權重值，其中，所述第二節點對應的初始權重值與各關聯節點的初始權重值的差值小于閾值。

2.如權利要求1所述的方法，其特征在于，所述根據預設的頁面標簽與權重值映射關系表，確定所述節點樹中各節點對應的初始權重值之前，還包括：

對頁面數據庫中各頁面的超文本標記語言進行解析，確定所述預設的頁面標簽與權重值映射關系表，其中，所述頁面數據庫各頁面中的標簽對應內容類型已知。

3.如權利要求1所述的方法，其特征在于，所述根據預設的頁面標簽與權重值映射關系表，確定所述節點樹中各節點對應的初始權重值之前，還包括：

根據所述待處理頁面對應的節點樹中各頁面標簽的類型，確定所述待處理頁面對應的映射關系表；

或者，

根據所述待處理頁面的統一資源定位符，確定所述待處理頁面對應的映射關系表。

4.如權利要求1所述的方法，其特征在于，所述根據待處理頁面的超文本標記語言代碼，確定所述待處理頁面對應的節點樹之后，還包括：

刪除所述節點樹中的元素樣式標簽、屬性標簽及腳本標簽，以得到所述待處理頁面對應的目標節點樹；

所述確定所述節點樹中各節點對應的初始權重值，包括：

確定所述目標節點樹中各節點對應的初始權重值。

5.如權利要求1所述的方法，其特征在于，所述根據與所述第二節點關聯的其它各節點分別對應的初始權重值，確定所述第二節點對應的初始權重值之后，還包括：

根據所述第二節點及所述第二節點對應的初始權重值，更新所述預設的頁面標簽與權重值映射關系表。

6.如權利要求1所述的方法，其特征在于，所述根據所述節點樹中各節點更新后的權重值，確定所述待處理頁面中的正文節點，包括：

確定更新后的權重值最大的節點為所述待處理頁面中的正文節點。

7.如權利要求6所述的方法，其特征在于，所述節點樹中包括至少兩個更新后的權重值最大的節點；

所述根據所述節點樹中各節點更新后的權重值，確定所述待處理頁面中的正文節點，包括：

根據所述至少兩個更新后的權重值最大的節點在所述節點樹中的位置、和/或所述至少兩個更新后的權重值最大的節點的初始權重值，確定所述待處理頁面中的正文節點。