[發明專利]基于語義相似度的問答對匹配技術

在審

• 申請號: 202011481831.7
• 申請日: 2020-12-16
• 公開（公告）號: CN112559708A
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 銀大偉
• 申請（專利權）人: 四川智仟科技有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/338;G06F40/284;G06F40/289;G06F40/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種基于語義相似度的問答對匹配技術，首先利用ElasticSearch對問答對數據集建立倒排索引，然后利用問答對數據集微調BERT模型，使其能夠判定問題和答案的語義相似度。對用戶輸入的問題，先利用ElasticSearch檢索得到初步的檢索結果，并使用TF?IDF對結果排序，排名前5的答案分別與輸入問題結合，輸入BERT模型，得到語義相似度分數，最后兩個分數加權求和得到最終的分數并重新排序，返回分數最高的答案。依據本發明為一種基于語義相似度的問答對匹配技術，對答案的召回率較高。

技術領域

本發明涉及智能問答領域，特別涉及一種基于語義相似度的問答對匹配技術。

背景技術

隨著人工智能的飛速發展，智能問答技術已經應用到各個行業。傳統的檢索系統完全根據關鍵詞進行答案查詢，不能準確理解用戶的問題意圖，且檢索的結果包含大量無關信息，沒有針對性。BERT等預訓練模型最近受到人們了關注，在眾多自然語言處理任務，如機器翻譯、自動摘要、智能問答等取得了最先進的結果。本發明提出基于語義相似度的問答對匹配技術，先通過ElasticSearch檢索工具進行初步的檢索，使用TF-IDF對結果進行排序。再利用問答對數據對BERT模型進行微調，使其能夠判斷問答對的語義相似度，對TF-IDF排名前5的結果，分別與問題結合后輸入BERT模型，得到語義相似度分數。最后對兩者分數進行加權求和，得到最終的分數并重新排序，返回分數最高的答案。通過ElasticSearch檢索與BERT模型結合的方式，既能在一定程度上理解用戶檢索問題的語義，又能保證回答的即時性和準確性，它是智能問答領域中更高效、更便捷、更及時、更準確的解決方案。

發明內容

本發明所要解決的技術問題在于針對現有技術的不足，提出了一種基于語義相似度的問答對匹配技術，通過深入理解用戶問題的語義和意圖，從知識庫中選擇最準確的回答。

為了解決上述技術問題，本發明采用的技術方案是：基于語義相似度的問答對匹配技術，包括以下步驟：

1)利用ElasticSearch檢索工具，對問答對數據集建立索引。

2)利用問答對數據集，微調BERT模型。

3)對用戶輸入的問題，使用進行分詞。

4)對分詞后的問題，去除問題中的停用詞。

5)去除停用詞后的問題作為輸入，用ElasticSearch進行初步檢索，得到檢索分數最高的前5個答案。

6)將ElasticSearch返回的每個答案分別與用戶輸入的問題結合，分別作為BERT模型的輸入，基于語義相似度進行重新排序。

7)將TF-IDF分數與BERT分數進行加權求和，得到最終分數并重新排序，返回最終分數最高的答案。

附圖說明

圖1為本發明總體流程的框圖。

具體實施方式

下面結合實施例對本發明做進一步的詳細說明，以令本領域技術人員參照說明書文字能夠據以實施。

本實施例的基于語義相似度的問答對匹配技術，包含以下步驟：

1)收集問答對語料庫，使用ElasticSearch工具對所有問答對建立倒排索引。

2)將收集到的問答對數據作為數據，微調BERT模型，使其能夠判斷問題和答案的語義相似度。

3)對用戶輸入的問題，使用IK分詞器進行分詞。

4)對分詞后的問題，去除問題中的停用詞，從而進行更加精確的匹配，得到更準確的結果。

5)去除停用詞后，使用ElasticSearch檢索得到相似的問題，并對返回結果使用TF-IDF方法進行排序，返回分數最高的前5個回答。