[發明專利]預訓練對偶注意力神經網絡語義推斷對話檢索方法及系統、檢索設備、存儲介質

有效

• 申請號: 202110795247.7
• 申請日: 2021-07-14
• 公開（公告）號: CN113535918B
• 公開（公告）日: 2022-09-09
• 發明（設計）人: 梁晨;陳麒光;耿健;唐亞鋒;辛宇鑫
• 申請（專利權）人: 梁晨;陳麒光
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/35;G06F40/30;G06F40/295;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京君恒知識產權代理有限公司 11466
• 代理人: 王恒

本發明是預訓練對偶注意力神經網絡語義推斷對話檢索方法及系統、檢索設備、存儲介質，屬于人機語言交互領域，為解決現有技術針對不同主題對話的檢索沒有自然語言推理進行檢索以及沒有完整檢索系統處理三大挑戰的問題；包括數據預處理模塊、預編碼模塊、檢索建立模塊、對話分塊模塊、排序模塊、NLI訓練模塊和模型生成模塊；預處理模塊將對話進行收錄，預編碼模塊進行編碼，檢索模塊篩選后進行區分、排序，NLI訓練模塊利用對偶注意力機制進行神經網絡訓練，最后由模型生成模系統；在同樣的CPU下本發明處理速度大幅度提升，并且能夠在短時間內處理大量的對話，準確性提高，從而檢索出能夠很好的解決三大挑戰的回復句。

技術領域

本發明是一種預訓練對偶注意力神經網絡語義推斷對話檢索方法及系統、檢索設備、存儲介質，屬于人機語言交互領域。

背景技術

一般來說，有兩種類型的對話系統：面向任務的對話和開放域對話。面向任務的對話系統是為特定領域或任務而設計的，如航班預訂、酒店預訂、客戶服務和技術支持等，并已成功地應用于一些實際應用中。構建智能的開放域對話系統，使之能夠與人類進行連貫而有吸引力的對話，一直是人工智能(AI)的一個長期目標。早期的對話系統，如Eliza、Parry和Alice，盡管顯著提高了機器智能，但僅在受限的固定場景下工作良好。開放域對話代理的目標是最大化用戶的長期參與。這在數學上很難優化，因為有許多不同的方法(稱為對話技巧)來提高參與度(例如，提供娛樂、推薦、談論有趣的話題)，它要求系統對對話環境和用戶的情感需求有深刻的理解，在正確的時間選擇正確的技能，并產生具有一致個性的人際反應。

而且，現階段中先進的對話系統多以英文對話為主，由于中文與英文之間，在語法結構、語言表達的習慣上存在大量差異，所以，中文對話系統的發展仍然面臨著更多挑戰，現存的中文系統所展示出的一般智能仍然遠遠落后于人類。因此，建立開放領域的對話系統，可以像人類一樣就各種話題進行對話，仍然是一項極具挑戰性的工作。

來自開放域對話的挑戰主要有三點：

第一是語義，語義是任何對話系統的核心，因為對話是一種語義活動。要求系統通過語義理解用戶，例如用戶的個性、情感、情緒甚至要結合用戶的概況和背景。從技術角度看，語義主要涉及自然語言理解和用戶理解的關鍵技術，包括命名實體識別、實體鏈接、領域檢測、主題和意圖檢測、用戶情緒、情感、觀點檢測和知識、常識推理等技術分類；

第二是一致性，為了獲得用戶的長期信心和信任，對話系統必須在給定用戶輸入和對話歷史的情況下做出與對話屬性一致的響應，從而呈現一致的行為。這是當今聊天系統的一大痛點。例如，一個社交機器人不應該提供一個與Ta預先設定的角色沖突的響應，或者 Ta以前在時間依賴性、因果關系或邏輯上的響應。具體來說，系統的反應需要在三個方面保持一致。第一是人物角色一致性，即響應需要符合對話系統的預定義個性。第二是文體的一致性，即表現出一致的說話風格。第三是語境的一致性，即回應需要與對話語境保持一致。從技術角度看，一致性主要涉及個性化、文體生成和多回合語境建模。當前的對話系統需要在一致性和系統性能之間做出權衡，性能的瓶頸導致了多輪對話技術很難應用于工業實踐當中；

第三是交互性，為了滿足用戶社會需求，加強用戶社會歸屬感，是開放領域對話系統的主要設計目標。為了提高交互性，重要的是了解用戶的情緒狀態或情感，不單單對用戶輸入作出反應，而且要主動作出反應，控制話題的維持或轉換，并優化交互策略，以最大限度地提高用戶的長期參與。從技術角度看，交互主要涉及情感檢測、對話狀態跟蹤、話題檢測和推薦、對話策略學習和可控響應生成。

總結近年來出現在CCF推薦會議上的聊天機器人技術方案如下：

其一，檢索式框架：