[發(fā)明專利]一種文本相似度計(jì)算方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110523688.1
• 申請(qǐng)日: 2021-05-13
• 公開（公告）號(hào): CN113239666B
• 公開（公告）日: 2023-09-29
• 發(fā)明（設(shè)計(jì)）人: 洪聲建;譚鵠
• 申請(qǐng)（專利權(quán)）人: 深圳市智靈時(shí)代科技有限公司
• 主分類號(hào): G06F40/126
• 分類號(hào): G06F40/126;G06F40/194;G06F40/284;G06F40/30;G06N3/08
• 代理公司: 廣州潤禾知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44446
• 代理人: 鄭永泉

1.一種文本相似度計(jì)算方法，其特征在于，所述方法包括：

獲取第一文本、第一文本的關(guān)鍵詞以及第二文本；

對(duì)所述第一文本和第二文本進(jìn)行文本特征抽取；

根據(jù)抽取到的所述文本特征，通過計(jì)算字符串相似度char_sim和語義相似度semantic_sim來確定文本相似度得分sim；

其中，所述對(duì)所述第一文本和第二文本進(jìn)行文本特征抽取，所述文本特征抽取的步驟具體包括：

用分詞器對(duì)所述第一文本和第二文本分別進(jìn)行分詞，得到所述第一文本的分詞序列seq_a和第二文本的分詞序列seq_q；

用語言模型對(duì)所述第一文本和第二文本進(jìn)行句向量編碼，得到所述第一文本的句向量vec_a和第二文本的句向量vec_q；

通過詞性標(biāo)注和向量編碼得到所述第一文本的詞性序列向量和第二文本的詞性序列向量

用主題模型對(duì)所述第一文本和第二文本進(jìn)行主題抽取，得到所述第一文本的主題詞序列topic_a和第二文本的主題詞序列topic_q，再將所述topic_a、topic_q進(jìn)行轉(zhuǎn)換得到第一文本的主題句向量和第二文本的主題句向量

所述根據(jù)抽取到的所述文本特征，通過計(jì)算字符串相似度char_sim和語義相似度semantic_sim來確定文本相似度得分sim的步驟具體包括：

根據(jù)所述第一文本的分詞序列seq_a和第二文本的分詞序列seq_q計(jì)算字符串相似度char_sim；

判斷所述字符串相似度char_sim是否大于或等于預(yù)估閾值α；

是則以所述字符串相似度char_sim作為文本相似度得分sim；

否則根據(jù)所述第一文本的句向量vec_a、第二文本的句向量vec_q、第一文本的詞性序列向量第二文本的詞性序列向量第一文本的主題句向量和第二文本的主題句向量計(jì)算語義相似度semantic_sim，以語義相似度semantic_sim作為文本相似度得分sim；

所述根據(jù)所述第一文本的分詞序列seq_a和第二文本的分詞序列seq_q計(jì)算字符串相似度char_sim，具體為：

計(jì)算所述第一文本的分詞序列seq_a和第二文本的分詞序列seq_q的交集個(gè)數(shù)sim_n，以及所述關(guān)鍵詞在所述seq_q中出現(xiàn)的次數(shù)key_k；

根據(jù)所述sim_n和key_k計(jì)算字符串相似度char_sim，所述字符串相似度char_sim＝w₁*sim_n/n+w₂*key_k/k，其中n為seq_a的長度、k為seq_a序列中關(guān)鍵詞的個(gè)數(shù)、w₁和w₂為設(shè)定好的參數(shù)且w₁+w₂＝1；

所述根據(jù)所述第一文本的句向量vec_a、第二文本的句向量vec_q、第一文本的詞性序列向量第二文本的詞性序列向量第一文本的主題句向量和第二文本的主題句向量計(jì)算語義相似度semantic_sim，具體為：

計(jì)算所述第一文本的句向量vec_a和第二文本的句向量vec_q之間的距離，記為distance_sentence；

計(jì)算所述第一文本的詞性序列向量和第二文本的詞性序列向量之間的距離，記為distance_pos；

計(jì)算所述第一文本的主題句向量和第二文本的主題句向量之間的距離，記為distance_topic；

根據(jù)公式semantic_sim＝t₁*distance_sentence+t₂*distance_pos+t₃*distance_topic計(jì)算語義相似度semantic_sim，其中t₁、t₂、t₃為設(shè)定的參數(shù)且t₁+t₂+t₃＝1。