[發(fā)明專利]語句相似度匹配方法及裝置

有效

• 申請?zhí)枺?/td>: 202010347946.0
• 申請日: 2020-04-28
• 公開（公告）號: CN111581347B
• 公開（公告）日: 2023-07-21
• 發(fā)明（設(shè)計）人: 曹廣溥;吳江林;王慎超;李金澤
• 申請（專利權(quán)）人: 中國工商銀行股份有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/332;G06F16/36
• 代理公司: 北京三友知識產(chǎn)權(quán)代理有限公司 11127
• 代理人: 王濤;任默聞

本申請實施例提供一種語句相似度匹配方法及裝置，方法包括：獲取經(jīng)分詞處理后的目標(biāo)對象語句對應(yīng)的目標(biāo)句向量；基于倒排矩陣獲取目標(biāo)句向量中的一級詞匯的句向量在歷史數(shù)據(jù)集中對應(yīng)的一級相似語句；應(yīng)用歷史數(shù)據(jù)集對應(yīng)的相似詞字典，確定目標(biāo)句向量中的二級詞匯的句向量、三級詞匯的句向量和一級相似語句之間的相似度得分，并得到一級相似語句對應(yīng)的二級相似語句以及目標(biāo)對象語句與歷史數(shù)據(jù)集間的相似度匹配分值。本申請能夠快速且準(zhǔn)確性地對目標(biāo)對象語句與歷史數(shù)據(jù)集進行相似度匹配，并能夠有效提高相似度匹配過程的可靠性及效率，實現(xiàn)毫秒級從數(shù)百萬數(shù)據(jù)中篩選出最相似的語句，進而能有效提高人工智能客服的實用性、準(zhǔn)確性，增加了用戶體驗度。

技術(shù)領(lǐng)域

本申請涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，具體涉及語句相似度匹配方法及裝置。

背景技術(shù)

在人工智能時代背景下，使用人工智能客服讀取非結(jié)構(gòu)化文本信息的需求也呈指數(shù)級增長，因此，從這些非結(jié)構(gòu)化文本信息中快速找出需要的信息，并將其加以利用，對于提高人工智能客服的實用性以及增加用戶體驗度均具有重要意義。

目前，大多數(shù)企業(yè)都是通過簡單的詞語匹配來判斷文本相似度，即根據(jù)兩段文本中相似詞的多少來計算相似度。這種方式，一方面精確度不高，沒有考慮詞語語義相近的情況；另一方面，對于動輒數(shù)十萬上百萬的數(shù)據(jù)量，這種逐句匹配的方法效率十分低下，無法滿足智能客服實時性的需求。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)中的問題，本申請?zhí)峁┮环N語句相似度匹配方法及裝置，能夠快速且準(zhǔn)確性地對目標(biāo)對象語句與歷史數(shù)據(jù)集進行相似度匹配，并能夠有效提高相似度匹配過程的可靠性及效率，實現(xiàn)毫秒級從數(shù)百萬數(shù)據(jù)中篩選出最相似的語句，進而能有效提高人工智能客服的實用性、準(zhǔn)確性，增加了用戶體驗度。

為解決上述技術(shù)問題，本申請?zhí)峁┮韵录夹g(shù)方案：

第一方面，本申請?zhí)峁┮环N語句相似度匹配方法，包括：

獲取經(jīng)分詞處理后的目標(biāo)對象語句對應(yīng)的目標(biāo)句向量，其中，該目標(biāo)句向量包括：一級詞匯的句向量、二級詞匯的句向量和三級詞匯的句向量；

基于預(yù)設(shè)的歷史數(shù)據(jù)集的倒排矩陣，獲取所述目標(biāo)句向量中的一級詞匯的句向量在所述歷史數(shù)據(jù)集中對應(yīng)的一級相似語句；

應(yīng)用所述歷史數(shù)據(jù)集對應(yīng)的相似詞字典，確定所述目標(biāo)句向量中的二級詞匯的句向量、三級詞匯的句向量和所述一級相似語句之間的相似度得分，并得到所述一級相似語句對應(yīng)的二級相似語句；

對所述二級相似語句進行歸一化處理，得到所述目標(biāo)對象語句與所述歷史數(shù)據(jù)集之間的相似度匹配分值。

進一步地，在所述獲取經(jīng)分詞處理后的目標(biāo)對象語句對應(yīng)的目標(biāo)句向量之前，還包括：

應(yīng)用獲取的歷史數(shù)據(jù)集生成對應(yīng)的相似詞袋，并將其中的相似詞語存儲至預(yù)設(shè)的相似詞字典；

基于所述相似詞袋生成對應(yīng)的詞頻排序詞袋以及所述分詞數(shù)據(jù)集的句向量矩陣；

獲取所述句向量矩陣對應(yīng)的排序句向量矩陣以及所述倒排矩陣。

進一步地，所述應(yīng)用獲取的歷史數(shù)據(jù)集生成對應(yīng)的相似詞袋，并將其中的相似詞語存儲至預(yù)設(shè)的相似詞字典，包括：

獲取歷史數(shù)據(jù)集；

對所述歷史數(shù)據(jù)集進行分詞處理，生成所述歷史數(shù)據(jù)集對應(yīng)的分詞數(shù)據(jù)集；

生成所述分詞數(shù)據(jù)集對應(yīng)的詞袋，其中，所述詞袋用于存儲按照預(yù)設(shè)詞匯重要度規(guī)則劃分的一級詞匯、二級詞匯和三級詞匯；

基于預(yù)設(shè)的相似度模型對所述詞袋進行相似度計算，得到對應(yīng)的相似詞袋，并將其中的相似詞語存儲至預(yù)設(shè)的相似詞字典。

進一步地，所述詞袋包括：一級詞匯列表、二級詞匯列表和三級詞匯列表；