[發明專利]文本相似度的統計方法及系統

有效

• 申請號: 201310074669.0
• 申請日: 2013-03-08
• 公開（公告）號: CN103176962A
• 公開（公告）日: 2013-06-26
• 發明（設計）人: 朱定局
• 申請（專利權）人: 深圳先進技術研究院
• 主分類號: G06F17/27
• 分類號: G06F17/27
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 吳平

1.一種文本相似度的統計方法，包括：

獲取需要判別相似度的第一文本和第二文本；

以第一劃分尺度將所述第一文本和第二文本分別分割成若干文本片段，將第一劃分尺度下第一文本中全部的文本片段與第二文本中全部的文本片段進行比較，計算第一劃分尺度下第一文本與第二文本中相同的文本片段數量占第一文本的文本片段總數的比例x1；

自第一文本和第二文本中刪除相同的文本片段，分別得到第一剩余文本和第二剩余文本；

以第二劃分尺度將第一剩余文本和第二剩余文本分別分割成若干文本片段，將第二劃分尺度下第一剩余文本中全部的文本片段與第二文本中全部的文本片段進行比較，計算第二劃分尺度下第一剩余文本與第二剩余文本中相同的文本片段數量占第一剩余文本的文本片段總數的比例y1；所述第二劃分尺度比第一劃分尺度小；

將x1乘以第一劃分尺度在綜合相似度中的權重，得到第一劃分尺度的相似度，一減去第一劃分尺度的相似度后再乘以y1、接著加上第一劃分尺度的相似度，以計算第一文本與第二文本的綜合相似度。

2.根據權利要求1所述的文本相似度的統計方法，其特征在于，所述以第一劃分尺度將所述第一文本和第二文本分別分割成若干文本片段的步驟，是將所述第一文本和第二文本分別分割成若干自然段；所述以第二劃分尺度將第一剩余文本和第二剩余文本分別分割成若干文本片段的步驟，是將所述第一剩余文本和第二剩余文本分別分割成若干詞語。

3.根據權利要求1所述的文本相似度的統計方法，其特征在于，所述以第一劃分尺度將所述第一文本和第二文本分別分割成若干文本片段的步驟，是將所述第一文本和第二文本分別分割成若干句子；所述以第二劃分尺度將第一剩余文本和第二剩余文本分別分割成若干文本片段的步驟，是將所述第一剩余文本和第二剩余文本分別分割成若干詞語。

4.根據權利要求1所述的文本相似度的統計方法，其特征在于，所述以第一劃分尺度將所述第一文本和第二文本分別分割成若干文本片段的步驟，是將所述第一文本和第二文本分別分割成若干自然段；所述以第二劃分尺度將第一剩余文本和第二剩余文本分別分割成若干文本片段的步驟，是將所述第一剩余文本和第二剩余文本分別分割成若干句子；

所述文本相似度的統計方法還包括自第一剩余文本和第二剩余文本中刪除相同的句子，分別得到文本T5和文本T6，將文本T5和文本T6分別分割成若干詞語，將文本T5中全部的詞語和文本T6中全部的詞語進行比較，計算文本T5和文本T6中相同的詞語占文本T5中詞語總數的比例z1的步驟；

所述計算第一文本與第二文本的綜合相似度的步驟，是通過如下公式進行計算：綜合相似度M1=x1*c1+(1-x1*c1)[y1*c2+(1-y1*c2)z1]；其中c1為自然段尺度在綜合相似度中的權重，c2為句子尺度在綜合相似度中的權重。

5.根據權利要求1-4中任意一項所述的文本相似度的統計方法，其特征在于，還包括判斷所述第一文本與第二文本的綜合相似度是否大于相似度閾值，若是，則判定所述第一文本與第二文本相似的步驟。

6.根據權利要求1-3中任意一項所述的文本相似度的統計方法，其特征在于，還包括下列步驟：

計算第一劃分尺度下第一文本與第二文本中相同的文本片段數量占第二文本的文本片段總數的比例x2；

計算第二劃分尺度下第一剩余文本與第二剩余文本中相同的文本片段數量占第二剩余文本的文本片段總數的比例y2；

將x2乘以第一劃分尺度在綜合相似度中的權重，得到第一劃分尺度的相似度，一減去第一劃分尺度的相似度后再乘以y2、接著加上第一劃分尺度的相似度，計算第二文本與第一文本的綜合相似度；

判斷所述第一文本與第二文本的綜合相似度是否大于相似度閾值，所述第二文本與第一文本的綜合相似度是否大于所述相似度閾值，若二者有任意一個大于所述相似度閾值，則判定所述第一文本與第二文本相似。