[發明專利]一種基于級聯式搜索的對話機器人應答引擎實現方法

有效

• 申請號: 202110735644.5
• 申請日: 2021-06-30
• 公開（公告）號: CN113569022B
• 公開（公告）日: 2023-06-09
• 發明（設計）人: 何思佑
• 申請（專利權）人: 四川新網銀行股份有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33;G06F40/30;G06F18/22;G06N5/02
• 代理公司: 成都智言知識產權代理有限公司 51282
• 代理人: 胡文莉

本發明公開了一種基于級聯式搜索的對話機器人應答引擎實現方法，屬于NLU技術和對話機器人領域，解決了現有部分對話機器人需要人工維護關鍵詞字典且泛化能力低的問題。本發明提出一種結合字符搜索與語義相似度模型的實現方法來解決此問題，通過引入級聯式搜索，綜合評分排序等方法提升單輪會話和多輪會話的準確性，并在一定程度上提升了應答引擎的泛化能力，同時支撐意圖式應答模式，較大程度降低機器人對人工知識庫語料數量的依賴。

技術領域

本發明屬于NLU技術和對話機器人領域，具體涉及一種基于級聯式搜索的對話機器人應答引擎實現方法。

背景技術

對話機器人系統在各個互聯網公司，尤其是電商平臺非常常見，主要代表產品有：智能客服機器人、輔助客服機器人。其主要用是解決用戶的一些常見問題為人工客服做好第一道攔截網，過濾簡單問題重復打擾人工客服造成人力資源浪費，同時也能及時響應用戶需求提升用戶體驗。

對話機器人的本質是當用戶發起問題Q時，如何精準匹配到對應意圖I，并作出對應回答A的一套完整解決方案，完整鏈路大致可描述為Q-I-A，現有對話機器人商業用例中大多采取傳統模式識別應答：(1)使用文本檢索+文本分類的方式識別用戶意圖；(2)根據意圖匹配答案區分對話類型(單輪、多輪)；(3)根據對應的回答類型進入對話樹或直接返回答案。其中文本檢索階段需要人工配置可能出現問題涉及的關鍵詞等；文本分類階段需要人工標注大量數據，且知識庫要隨著問題的增加而增加標注數據；進入對話樹以后必須根據對話內容進行文本匹配返回結果，無法真正做到語義級別識別用戶意圖跳轉到對應答案。

綜上，現有對話機器人存在的弊端在于：

(1)現有技術中基于關鍵詞和文本分類的方法識別用戶意圖準確率較低，且泛化能力差，當用戶更改提問方式或出現同音字、錯別字，識別率下降較快；

(2)原有文本分類需使用各個類別的正反例標注數據進行訓練，對標注數據的質量和數量要求較高，且當應用場景發生改變時必須重復進行人工標注才能完成整個流程，花費大量人工。

發明內容

本發明公開了一種基于級聯式搜索的對話機器人應答引擎實現方法，基于Q-I的過程做主要優化，通過采用ES檢索意圖候選集C，再通過transform類預訓練模型直接計算用戶問題Q與候選集C之間的相似度分數，結合各階段評分最終做出意圖I的確定。此方案拋棄了直接文本分類的方法，采用預訓練模型+候選集相似計算提升了泛化能力、準確率；通過使用標準問-相似問與部分外域屬于即可構建一個包含正反例的完整數據集從而獲得對應的語義模型，僅需人工總結對應的標準問-相似問對關系即可，標準問與相似問為一對多關系，可節約大量人工。

本發明采用的技術方案如下：

1.一種基于級聯式搜索的對話機器人應答引擎實現方法，其特征在于，包括如下步驟:

步驟1：構建標準問-相似問知識庫、標準意圖-相似意圖知識庫和多輪問答樹，并將以上結果整合成知識庫K；

步驟2：利用知識庫K內容構建正反例數據集，分別訓練標準問語義模型和意圖語義模型得到模型M1和M2，同時將知識庫K按行導入ES得到檢索庫E，將所有多輪問答樹導入redis得到多輪庫R；

步驟3：當系統接收到用戶問題Q，查詢檢索庫E得到最可能N個標準問候選集C＝c1,c2,c3,…,cn與候選集得分集合，將標準問候選集與用戶問題Q送入標準問語義模型計算相似度，得到相似度分數集合S＝s1,s2,s3,…,sn，隨后整合候選集得分集合與相似度得分集合，得到綜合評分，對綜合評分進行置信度計算并根據置信度進行排序，得到序列L＝l1,l2,l3,…,ln，進入下一個步驟；

步驟4：根據排序后的序列L＝l1,l2,l3,…,ln,取出第一個元素l1進行置信度判斷；根據置信度判斷的結果分別進行策略回答，直至完成會話狀態；