[發明專利]對小說網頁內容選擇性抽取方法和裝置

有效

• 申請號: 201410575705.6
• 申請日: 2014-10-24
• 公開（公告）號: CN104331438B
• 公開（公告）日: 2018-04-17
• 發明（設計）人: 魏少俊;鄭燕琴
• 申請（專利權）人: 北京奇虎科技有限公司;奇智軟件（北京）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京智匯東方知識產權代理事務所(普通合伙)11391
• 代理人: 康正德,范曉斌

技術領域

本發明涉及互聯網技術領域，特別是一種對小說網頁內容選擇性抽取方法和裝置。

背景技術

小說網頁內容的抽取在搜索引擎、移動閱讀等領域有著越來越重要的作用。一般而言，小說網頁包含的信息豐富而復雜，可以包括有標題、作者信息、目錄、正文、廣告等內容。因而，為了在小說網頁中抽取有效的內容，亟需提供一種高效、通用性強的小說網頁內容的抽取方法。

發明內容

鑒于上述問題，提出了本發明以便提供一種克服上述問題或者至少部分地解決上述問題的對小說網頁內容選擇性抽取方法和相應的裝置。

依據本發明的一個方面，提供了一種對小說網頁內容選擇性抽取方法，包括：將目標小說網頁解析成文本對象模型樹結構；對所述文本對象模型樹結構中的各結點進行分類，以確定所述目標小說網頁的結構分塊；根據所述結構分塊選擇性抽取所述目標小說網頁相應的結構化數據。

可選地，對所述文本對象模型樹結構中的各結點進行分類，包括：遍歷所述文本對象模型樹結構，得到所述文本對象模型樹結構中各節點的內容；按照預設規則將所述各節點的內容輸入決策樹，由所述決策樹對所述各節點進行分類。

可選地，遍歷所述文本對象模型樹結構，得到所述文本對象模型樹結構中各節點的內容，包括：對所述文本對象模型樹結構進行后跟遍歷，通過累加所述當前遍歷結點的所有子結點的內容得到所述當前遍歷結點的內容。

可選地，由所述決策樹對所述各節點進行分類，包括：由所述決策樹分析所述各節點的內容，得到所述各節點的維度特征；根據所述各節點的維度特征對所述各節點進行分類。

可選地，所述決策樹是由用于訓練的、小說網頁的不同類型的塊以及每種類型的塊對應的至少一個維度特征訓練得到。

可選地，按照預設規則將所述各節點的內容輸入決策樹，包括：采用先跟遍歷的順序將所述各節點的內容輸入決策樹。

可選地，所述維度特征包括下列至少之一：文本長度、超鏈接個數、超鏈接文本長度、高亮文本長度、中文字符長度、英文字符長度、數字字符長度、特定關鍵詞、特定標點符號。

可選地，所述目標小說網頁的結構分塊的類型包括下列至少之一：小說名稱塊、作者信息塊、摘要信息塊、附加信息塊、發表日期塊、目錄塊、正文塊、翻頁塊、廣告塊、垃圾塊。

可選地，所述目標小說網頁為來自多個站點的同一本小說的小說網頁，根據所述結構分塊選擇性抽取所述目標小說網頁相應的結構化數據之后，還包括：識別選擇性抽取的來自多個站點的所述目標小說網頁相應的結構化數據，以識別出不同的結構化數據。

可選地，識別選擇性抽取的來自多個站點的所述目標小說網頁相應的結構化數據，以識別出不同的結構化數據，包括：計算選擇性抽取的來自多個站點的所述目標小說網頁相應的結構化數據的特征向量；將具備相同特征向量的結構化數據進行聚類，得到不同特征向量的結構化數據作為不同的結構化數據。

依據本發明的另一個方面，還提供了一種對小說網頁內容選擇性抽取裝置，包括：

解析模塊，適于將目標小說網頁解析成文本對象模型樹結構結構；

分類模塊，適于對所述文本對象模型樹結構中的各結點進行分類，以確定所述目標小說網頁的結構分塊；

抽取模塊，適于根據所述結構分塊選擇性抽取所述目標小說網頁相應的結構化數據。

可選地，所述分類模塊還適于：遍歷所述文本對象模型樹結構，得到所述文本對象模型樹結構中各節點的內容；按照預設規則將所述各節點的內容輸入決策樹，由所述決策樹對所述各節點進行分類。

可選地，所述分類模塊還適于：對所述文本對象模型樹結構進行后跟遍歷，通過累加所述當前遍歷結點的所有子結點的內容得到所述當前遍歷結點的內容。

可選地，所述分類模塊還適于：由所述決策樹分析所述各節點的內容，得到所述各節點的維度特征；根據所述各節點的維度特征對所述各節點進行分類。

可選地，所述決策樹是由用于訓練的、小說網頁的不同類型的塊以及每種類型的塊對應的至少一個維度特征訓練得到。

可選地，所述分類模塊還適于：采用先跟遍歷的順序將所述各節點的內容輸入決策樹。

可選地，所述維度特征包括下列至少之一：文本長度、超鏈接個數、超鏈接文本長度、高亮文本長度、中文字符長度、英文字符長度、數字字符長度、特定關鍵詞、特定標點符號。

可選地，所述目標小說網頁的結構分塊的類型包括下列至少之一：小說名稱塊、作者信息塊、摘要信息塊、附加信息塊、發表日期塊、目錄塊、正文塊、翻頁塊、廣告塊、垃圾塊。