[發明專利]一種文本相似性比對方法

有效

• 申請號: 201610053813.6
• 申請日: 2016-01-27
• 公開（公告）號: CN107015961B
• 公開（公告）日: 2021-06-25
• 發明（設計）人: 張國文
• 申請（專利權）人: 中文在線數字出版集團股份有限公司;中國新聞出版研究院
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06F40/30;G06F16/9535
• 代理公司: 北京市盛峰律師事務所 11337
• 代理人: 于國富

1.一種文本相似性比對方法，其特征在于，使用文本分析調度器將需要做文本內容相似度分析的網絡作品比對任務均衡地分配給多個文本分析器，并監測文本分析器的狀態；然后，在文本分析器中，采用多粒度分層算法進行文檔內容相似性比對，所述多粒度分層算法包括如下步驟：

S1，以文檔為粗粒度，根據詞的淺層次相似度從注冊作品庫中篩選出相似度最大的N個作品形成候選作品集，其中，N為自然數；

S2，對所述候選作品集中的每個作品進行文本分段，得到分段文本；

S3，以所述分段文本為細粒度，進行文本細粒度相似度比對。

2.根據權利要求1所述的文本相似性比對方法，其特征在于，S1之前還包括步驟S0：對所述網絡作品分配到某個文本分析器中的待比對文檔和所述注冊作品庫中的文檔進行分詞和詞性標注。

3.根據權利要求2所述的文本相似性比對方法，其特征在于，S0和S1之間還包括步驟：對所述分詞進行過濾處理。

4.根據權利要求3所述的文本相似性比對方法，其特征在于，所述對所述分詞進行過濾處理，采用插件式過濾鏈，所述插件式過濾鏈包括停用詞過濾器和/或同義詞過濾器。

5.根據權利要求1所述的文本相似性比對方法，其特征在于，S1中，所述詞的淺層次相似度，采用如下公式進行計算：

Sim(D1,D2)＝Count(D1∩D2)/(Count(D1)+Count(D2))，

式中，

D＝{W1,W2,W3…}表示文檔，

Wi表示文檔D中的詞，

D1∩D2表示文檔D1、D2中詞的交集，

Count(Di)表示文檔Di中詞的個數，當詞有重復時，重復數不計入詞的個數。

6.根據權利要求1所述的文本相似性比對方法，其特征在于，S2中，所述文本分段包括如下方式：以段落分段、以一定數量的字詞分段或以句子分段。