[發明專利]一種文本相似度計算方法及系統

在審

• 申請號: 202010530241.2
• 申請日: 2020-06-11
• 公開（公告）號: CN111767724A
• 公開（公告）日: 2020-10-13
• 發明（設計）人: 余祥;李強;陳立哲;朱峰;李騰飛;顧正海
• 申請（專利權）人: 安徽旅賁科技有限公司
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06F40/211;G06F40/30;G06N3/04
• 代理公司: 合肥天明專利事務所(普通合伙) 34115
• 代理人: 閆客

1.一種文本相似度計算方法，其特征在于，包括：

對兩待比較文本分別進行分詞處理，得到兩待比較文本對應的分詞結果，分別為第一分詞結果和第二分詞結果；

對于第一分詞結果中的單詞和第二分詞結果中的單詞，分別形成單詞所在整個文本的句意表示向量，得到兩待比較文本對應的句意表示向量；

基于向量空間模型計算兩待比較文本對應的句意表示向量之間的相似度。

2.如權利要求1所述的文本相似度計算方法，其特征在于，所述對于第一分詞結果中的單詞和第二分詞結果中的單詞，分別形成單詞所在整個文本的句意表示向量，得到兩待比較文本對應的句意表示向量，包括：

結合所述分詞結果中的單詞在局部和全局的上下文信息，學習第一分詞結果中的單詞在語境中的詞義表示特征和第二分詞結果中的單詞在語境中的詞義表示特征；

基于組合語義模型進行詞義的組合，形成所述第一分詞結果中單詞對應的整個文本的句意表示向量以及所述第二分詞結果中單詞對應的整個文本的句意表示向量。

3.如權利要求2所述的文本相似度計算方法，其特征在于，所述結合所述分詞結果中的單詞在局部和全局的上下文信息，學習第一分詞結果中的單詞在語境中的詞義表示特征和第二分詞結果中的單詞在語境中的詞義表示特征，包括：

分別根據所述分詞結果中單詞在所處的詞序列計算第一分詞結果中單詞的局部上下文特征向量和第二分詞結果中單詞的局部上下文特征向量；

將每個語句作為語句序列中的一個元素，計算第一分詞結果中單詞的全局上下文特征向量和第二分詞結果中單詞的全局上下文特征向量；

利用同一單詞的局部上下文特征向量和全局上下文特征向量，得到該單詞在語境中的詞義表示特征。

4.如權利要求2所述的文本相似度計算方法，其特征在于，所述基于組合語義模型進行詞義的組合，形成所述第一分詞結果中單詞對應的整個文本的句意表示向量以及所述第二分詞結果中單詞對應的整個文本的句意表示向量，包括：

基于組合語義模型將句子分析成一棵依存句法樹，并使用句法分析工具進行句法分析；

將句法分析結果按照分析器定義的依存關系次序進行變換得到整個句子的組合關系樹狀層級圖；

從葉子節點開始，按照樹所表示的節點層次關系，從底層葉子節點開始逐層向上進行有序的組合，得到所述單詞對應的整個文本的句意表示向量。

5.如權利要求1所述的文本相似度計算方法，其特征在于，所述基于向量空間模型計算兩待比較文本對應的句意表示向量之間的相似度，具體為：

利用相似度計算公式計算兩待比較文本對應的句意表示向量之間的相似度sim(D₁，D₂)，公式如下：

其中，score_1k表示文本D₁的各個維度的特征向量，score_2k表示文本D₂的各個維度的特征向量，k表示單個向量維度，n表示向量維度，D₁，D₂分別表示需要比較的兩個文本。

6.如權利要求5所述的文本相似度計算方法，其特征在于，在所述基于向量空間模型計算兩待比較文本對應的句意表示向量之間的相似度之后，還包括：

將所述相似度sim(D₁，D₂)與相似度閾值λ進行比較；

當λ≤sim(D₁，D₂)時，表示兩個語句相似；

當λ＞sim(D₁，D₂)時，表示兩個語句不相似。