[發明專利]章節式文本的章節完整性的識別方法和裝置

有效

• 申請號: 201410578534.2
• 申請日: 2014-10-24
• 公開（公告）號: CN104317903B
• 公開（公告）日: 2017-10-13
• 發明（設計）人: 魏少俊;鄭燕琴
• 申請（專利權）人: 北京奇虎科技有限公司;奇智軟件（北京）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F17/27
• 代理公司: 北京智匯東方知識產權代理事務所(普通合伙)11391
• 代理人: 康正德,郭海彬

1.一種章節式文本的章節完整性的識別方法，包括：

從多個站點分別識別出章節式文本的目錄頁以及多個內容頁，其中，每個站點對應一個目錄頁，每個目錄頁對應多個內容頁；

根據每個目錄頁對應的多個內容頁，確定所述章節式文本在不同站點上的目錄頁集合；

分析所述目錄頁集合中各目錄頁和/或各目錄頁對應的內容頁，根據分析得到的結果識別出所述目錄頁集合中各目錄頁的章節完整性；

其中，所述從多個站點分別識別出章節式文本的目錄頁以及多個內容頁，包括：從多個站點搜索到章節式文本相關的網頁；從搜索到的網頁中識別出所述章節式文本的目錄頁以及多個內容頁。

2.根據權利要求1所述的方法，其中，根據每個目錄頁對應的多個內容頁，確定所述章節式文本在不同站點上的目錄頁集合，包括：

計算每兩個目錄頁對應的內容頁之間的交集，并作為每兩個目錄頁的交集；

根據每兩個目錄頁的交集，確定所述章節式文本在不同站點上的目錄頁集合。

3.根據權利要求2所述的方法，其中，所述計算每兩個目錄頁對應的內容頁之間的交集，包括：

提取多個目錄頁對應的內容頁中每個內容頁的文本特征向量；

將具備相同文本特征向量的內容頁進行聚類，生成多個內容頁分組；

根據所述多個內容頁分組、以及每個目錄頁與其對應的內容頁的映射關系，計算每兩個目錄頁對應的內容頁之間的交集。

4.根據權利要求2所述的方法，其中，根據每兩個目錄頁的交集，確定所述章節式文本在不同站點上的目錄頁集合，包括：

將交集的元素個數大于或等于預設閾值的每兩個目錄頁進行合并，得到合并結果；

將所述合并結果作為所述章節式文本在不同站點上的目錄頁集合。

5.根據權利要求1至4任一項所述的方法，其中，分析所述目錄頁集合中各目錄頁和/或各目錄頁對應的內容頁，根據分析得到的結果識別出所述目錄頁集合中各目錄頁的章節完整性，包括：

計算所述目錄頁集合中每兩個目錄頁的交集的元素個數的平均值；

若某一目錄頁與所述目錄頁集合中多個其他目錄頁的交集的元素的個數均小于所述平均值，則確定該目錄頁對應的章節不完整。

6.根據權利要求1至4任一項所述的方法，其中，分析所述目錄頁集合中各目錄頁和/或各目錄頁對應的內容頁，根據分析得到的結果識別出所述目錄頁集合中各目錄頁的章節完整性，包括：

若某一目錄頁對應的內容頁包含有所述目錄頁集合中多個其他目錄頁對應的內容頁，且該目錄頁對應的內容頁中還存在其他內容頁，則確定所述其他內容頁為最新章節的內容頁，且該目錄頁具備持續貢獻新章節的能力。

7.根據權利要求1至4任一項所述的方法，其中，分析所述目錄頁集合中各目錄頁和/或各目錄頁對應的內容頁，根據分析得到的結果識別出所述目錄頁集合中各目錄頁的章節完整性，包括：

若某一目錄頁對應的某個內容頁未存在于所述目錄頁集合中其他目錄頁對應的內容頁中，且該內容頁長度不屬于該目錄頁對應的內容頁的平均長度對應的區間范圍，則確定該內容頁為虛假的內容頁。

8.根據權利要求1至4任一項所述的方法，其中，分析所述目錄頁集合中各目錄頁和/或各目錄頁對應的內容頁，根據分析得到的結果識別出所述目錄頁集合中各目錄頁的章節完整性，包括：

若某一目錄頁對應的某個內容頁未存在于所述目錄頁集合中其他目錄頁對應的內容頁中，該內容頁長度屬于該目錄頁對應的內容頁的平均長度對應的區間范圍，且該目錄頁不具備持續貢獻新章節的能力，則確定該內容頁為虛假的內容頁。

9.根據權利要求1至4任一項所述的方法，其中，從搜索到的網頁中識別出所述章節式文本的目錄頁以及多個內容頁，包括：

將搜索到的網頁解析成文本對象模型樹結構；

對所述文本對象模型樹結構中的各結點進行分類，以確定所述網頁的結構分塊；

根據所述結構分塊抽取所述章節式文本的目錄頁以及多個內容頁。