[發明專利]一種基于語義分析的中文句子相似度計算方法和系統

在審

• 申請號: 202110747767.0
• 申請日: 2021-07-01
• 公開（公告）號: CN113392630A
• 公開（公告）日: 2021-09-14
• 發明（設計）人: 季白楊;李辰杰
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06F40/211
• 分類號: G06F40/211;G06F40/284;G06F40/30;G06K9/62
• 代理公司: 浙江千克知識產權代理有限公司 33246
• 代理人: 冷紅梅

本發明公開了一種基于語義分析的中文句子相似度計算方法及系統，其中涉及的一種基于語義分析的中文句子相似度計算方法，包括：S1.獲取待處理的句子對，并基于預構建的語料庫分別對獲取的句子對進行分詞；其中，預構建的語料庫包括行業語料庫和普通語料庫；S2.對分詞后句子的成分進行劃分，得到句子的主要成分和次要成分，通過BERT方法和Word2vec方法將句子的主要成分、次要成分均轉化為詞向量，并使用余弦相似度分別計算句子對的主要成分、次要成分的相似度；S3.根據得到的主要成分、次要成分的相似度，分別計算BERT方法和Word2vec方法的句子對整體相似度，并根據句子對的整體相似度計算句子對的最終相似度。

技術領域

本發明涉及語句識別的技術領域，尤其涉及一種基于語義分析的中文句子相似度計算方法和系統。

背景技術

句子相似度計算是自然語言處理中一項重要的基礎性研究，相關研究成果可以廣泛應用到許多方面。在智能問答系統中，使用句子相似度從原始數據庫中找出與目標句子最相似的句子。在機器翻譯中，使用句子相似度從實例集中找出與待翻譯語句最相似的源語句。在文本自動分類中，使用句子相似度作為判別構成文本的句子集歸類的主要標準。在文本檢測和文本查重中，句子相似度計算作為核心標準，決定了文本檢測和查重的準確率。因此，句子相似度是一項重要的計算標準，其計算效率和準確率可影響到許多相關系統的運行效率。

目前國外成熟的句子相似度計算方法有簡單匹配、最長公共子序列(LongestCommon Length,LCS)、萊文斯坦距離(Levenshtein Distance)、Jaccard等。不同于印歐語言以單詞為語義的最小單位，中文因為其構詞表意的靈活性，使得上述方法應用于中文句子相似度計算時，只考慮到了詞語的字面信息與句子相互轉化的次數等特征，而忽略了詞語的句法信息和語義差異，導致此類方法對中文句子相似度計算準確率較低。

綜上所述，現有句子相似度計算方法計算句中關鍵詞以及關鍵詞附加部分相似度或者直接比較組成句子詞語的相似度，以之代表整個句子的相似度，容易造成信息遺漏問題，且無法從語句表意內容方面綜合計算，為此本發明提出一種基于語義分析的中文句子相似度計算方法和系統。

發明內容

本發明的目的是針對現有技術的缺陷，提供了一種基于語義分析的中文句子相似度計算方法和系統，可以從更細粒度方面綜合比較句子各部分的相似度，并結合行業領域信息計算出一種綜合的句子相似度值。

為了實現以上目的，本發明采用以下技術方案：

一種基于語義分析的中文句子相似度計算方法，包括：

S1.獲取待處理的句子對，并基于預構建的語料庫分別對獲取的句子對進行分詞；其中，預構建的語料庫包括行業語料庫和普通語料庫；

S2.對分詞后句子的成分進行劃分，得到句子的主要成分和次要成分，通過BERT方法和Word2vec方法將句子的主要成分、次要成分均轉化為詞向量，并使用余弦相似度分別計算句子對的主要成分、次要成分的相似度；

S3.根據得到的主要成分、次要成分的相似度，分別計算BERT方法和Word2vec方法的句子對整體相似度，并根據句子對的整體相似度計算句子對的最終相似度。

進一步的，所述步驟S1中對句子對進行分詞后還包括：計算句子對所涉及的行業的相似度，表示為：

其中，N(A,B)表示句子A和句子B行業統計的交集；C(A,B)表示句子A和句子B行業統計的差集。

進一步的，所述步驟S2中對分詞后句子的成分進行劃分，得到句子的主要成分和次要成分；

主要成分表示為：

S_major＝S(主語，謂語，賓語)