[發明專利]文本相似度的統計方法及系統

有效

• 申請號: 201310074669.0
• 申請日: 2013-03-08
• 公開（公告）號: CN103176962A
• 公開（公告）日: 2013-06-26
• 發明（設計）人: 朱定局
• 申請（專利權）人: 深圳先進技術研究院
• 主分類號: G06F17/27
• 分類號: G06F17/27
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 吳平

技術領域

本發明涉及文本處理，特別是涉及一種文本相似度的統計方法，還涉及一種文本相似度的統計系統。

背景技術

現有技術中判斷兩個文本的相似度，一般是通過將兩個文本進行分詞，然后按照順序判斷兩個文本中重復的字詞句串。

但如果文本中字詞句的順序被故意打亂了，那么即使實質上是相似的（例如抄襲的）文本之間，按照現有的相似度統計方式得到的相似度較低，無法反映其本身的相似程度。

發明內容

基于此，為了解決傳統的文本相似度統計方法難以準確反映被人為打亂了字詞句順序的文本之間的相似程度的問題，有必要提供一種能夠較為準確反映被人為打亂了字詞句順序的文本之間的相似程度的文本相似度的統計方法。

一種文本相似度的統計方法，包括：獲取需要判別相似度的第一文本和第二文本；以第一劃分尺度將所述第一文本和第二文本分別分割成若干文本片段，將第一劃分尺度下第一文本中全部的文本片段與第二文本中全部的文本片段進行比較，計算第一劃分尺度下第一文本與第二文本中相同的文本片段數量占第一文本的文本片段總數的比例x1；自第一文本和第二文本中刪除相同的文本片段，分別得到第一剩余文本和第二剩余文本；以第二劃分尺度將第一剩余文本和第二剩余文本分別分割成若干文本片段，將第二劃分尺度下第一剩余文本中全部的文本片段與第二文本中全部的文本片段進行比較，計算第二劃分尺度下第一剩余文本與第二剩余文本中相同的文本片段數量占第一剩余文本的文本片段總數的比例y1；所述第二劃分尺度比第一劃分尺度小；將x1乘以第一劃分尺度在綜合相似度中的權重，得到第一劃分尺度的相似度，一減去第一劃分尺度的相似度后再乘以y1、接著加上第一劃分尺度的相似度，以計算第一文本與第二文本的綜合相似度。

在其中一個實施例中，所述以第一劃分尺度將所述第一文本和第二文本分別分割成若干文本片段的步驟，是將所述第一文本和第二文本分別分割成若干自然段；所述以第二劃分尺度將第一剩余文本和第二剩余文本分別分割成若干文本片段的步驟，是將所述第一剩余文本和第二剩余文本分別分割成若干詞語。

在其中一個實施例中，所述以第一劃分尺度將所述第一文本和第二文本分別分割成若干文本片段的步驟，是將所述第一文本和第二文本分別分割成若干句子；所述以第二劃分尺度將第一剩余文本和第二剩余文本分別分割成若干文本片段的步驟，是將所述第一剩余文本和第二剩余文本分別分割成若干詞語。

在其中一個實施例中，所述以第一劃分尺度將所述第一文本和第二文本分別分割成若干文本片段的步驟，是將所述第一文本和第二文本分別分割成若干自然段；所述以第二劃分尺度將第一剩余文本和第二剩余文本分別分割成若干文本片段的步驟，是將所述第一剩余文本和第二剩余文本分別分割成若干句子；所述文本相似度的統計方法還包括自第一剩余文本和第二剩余文本中刪除相同的句子，分別得到文本T5和文本T6，將文本T5和文本T6分別分割成若干詞語，將文本T5中全部的詞語和文本T6中全部的詞語進行比較，計算文本T5和文本T6中相同的詞語占文本T5中詞語總數的比例z1的步驟；所述計算第一文本與第二文本的綜合相似度的步驟，是通過如下公式進行計算：綜合相似度M1=x1*c1+(1-x1*c1)[y1*c2+(1-y1*c2)z1]；其中c1為自然段尺度在綜合相似度中的權重，c2為句子尺度在綜合相似度中的權重。

在其中一個實施例中，還包括判斷所述第一文本與第二文本的綜合相似度是否大于相似度閾值，若是，則判定所述第一文本與第二文本相似的步驟。

在其中一個實施例中，還包括下列步驟：計算第一劃分尺度下第一文本與第二文本中相同的文本片段數量占第二文本的文本片段總數的比例x2；計算第二劃分尺度下第一剩余文本與第二剩余文本中相同的文本片段數量占第二剩余文本的文本片段總數的比例y2；將x2乘以第一劃分尺度在綜合相似度中的權重，得到第一劃分尺度的相似度，一減去第一劃分尺度的相似度后再乘以y2、接著加上第一劃分尺度的相似度，計算第二文本與第一文本的綜合相似度；判斷所述第一文本與第二文本的綜合相似度是否大于相似度閾值，所述第二文本與第一文本的綜合相似度是否大于所述相似度閾值，若二者有任意一個大于所述相似度閾值，則判定所述第一文本與第二文本相似。

本發明還相應提供一種文本相似度的統計系統。