[發明專利]一種網頁主體信息提取方法、裝置及存儲介質

有效

• 申請號: 202011531289.1
• 申請日: 2020-12-22
• 公開（公告）號: CN112528205B
• 公開（公告）日: 2021-10-29
• 發明（設計）人: 李璽;馮凱;王元卓
• 申請（專利權）人: 中科院計算技術研究所大數據研究院
• 主分類號: G06F16/958
• 分類號: G06F16/958;G06F16/951;G06F16/9535
• 代理公司: 北京沁優知識產權代理有限公司 11684
• 代理人: 另婧

1.一種網頁主體信息提取方法，其特征在于，包括以下步驟：

網頁源碼獲取，接收網頁地址信息，根據網頁地址信息在互聯網中獲取該網頁的網頁源碼，所述網頁源碼中包括至少一個節點，所述節點中包括至少一個標簽；

主體信息提取，遍歷所述網頁源碼中的各個節點，根據所述節點中的標簽判斷該節點的信息是否為主體信息，若是，提取該節點中的信息為主體信息；

所述標簽為P標簽，所述主體信息提取的步驟還包括：

節點檢測，接收所述節點中的總標簽數、字符串字數、P標簽數量和P標簽的字符串字數，根據所述節點中的總標簽數、字符串字數、P標簽數量和P標簽的字符串字數得出檢測熵值；

檢測熵值判斷，接收熵值閾值，判斷所述檢測熵值是否小于所述熵值閾值，若是，則該節點的信息是主體信息；

設所述節點為A節點，A節點中的總標簽數為Albs、A節點中的字符串字數為Astrs、A節點中的P標簽數量Aplbs、A節點中的P標簽的字符串字數為Apstrs、檢測熵值為sbut；

所述檢測熵值的計算根據公式：

2.根據權利要求1所述的網頁主體信息提取方法，其特征在于：所述網頁主體信息提取方法還包括用戶推送，收集所述網頁源碼中各節點中主體信息的文字，向用戶推送。

3.根據權利要求2所述的網頁主體信息提取方法，其特征在于：所述主體信息提取的步驟還包括：

節點評分，接收所述檢測熵值，根據所述檢測熵值和所述節點中的總標簽數得出節點評分；

評分判斷，接收評分閾值，對所述節點評分與評分閾值進行比對，根據判斷結果判斷該節點的信息是否為主體信息。

4.根據權利要求3所述的網頁主體信息提取方法，其特征在于：設所述節點評分為scut；

所述節點評分的計算根據公式：scut＝sbut*_log10Albs*_logesbut₂。

5.根據權利要求4所述的網頁主體信息提取方法，其特征在于：所述網頁主體信息提取方法還包括文本預處理，所述文本預處理的步驟包括，遍歷所述網頁源碼中的所有標簽和行，通過DOM分析器過濾所述網頁源碼中無用的標簽和行。

6.根據權利要求1或5所述的網頁主體信息提取方法，其特征在于：所述網頁主體信息提取方法還包括標題提取，所述標題提取的步驟包括，遍歷所述網頁源碼中的所有標簽，提取所述標簽為title類型的標簽，將所述title標簽中的信息確定為標題信息。

7.一種網頁主體信息提取裝置，其特征在于，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述程序時實現如權利要求1-6任一項所述的網頁主體信息提取方法。

8.一種存儲介質，其特征在于，所述存儲介質包括一個或多個程序，所述一個或多個程序可以被處理器執行以完成如權利要求1-6任一項所述的網頁主體信息提取方法。