[發明專利]預訓練對偶注意力神經網絡語義推斷對話檢索方法及系統、檢索設備、存儲介質

有效

• 申請號: 202110795247.7
• 申請日: 2021-07-14
• 公開（公告）號: CN113535918B
• 公開（公告）日: 2022-09-09
• 發明（設計）人: 梁晨;陳麒光;耿健;唐亞鋒;辛宇鑫
• 申請（專利權）人: 梁晨;陳麒光
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/35;G06F40/30;G06F40/295;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京君恒知識產權代理有限公司 11466
• 代理人: 王恒

1.預訓練對偶注意力神經網絡語義推斷對話檢索方法，其特征在于：該方法通過首先數據預處理、對話分塊和預編碼、關鍵詞分析和檢索建立，其次利用BM25F算法選取檢索分數為top l的對話并對話分塊，再次，將語義文本編碼和向量化余弦相似度交互，通過用戶狀態追蹤中的對偶注意力學習結合學習排序、對話檢索NLI，最終，生成預訓練模型，完成預訓練對偶注意力神經網絡語義推斷對話檢索方法；

具體步驟如下：

步驟一，在網絡論壇上爬取多輪主題數據，將所有對話者的聊天內容的每一條作為節點完成初始化過程；

步驟二，按照對話文本的特點，對語料庫中的對話文本進行分塊，并使用預訓練注意力神經網絡進行編碼，并將編碼結果按照文本的分塊組織成句向量表示為矩陣向量；

步驟三，使用了bert分詞技術，對每一條數據建立了不同的檢索域；

步驟四，采用BM25F算法，獲得用戶查詢的上下文之后，采用相同的檢索域分析即狀態分析與追蹤，選取出檢索分數為top l的對話；

步驟五，將對話分塊并處理編碼和向量化余弦相似度交互后進行比較；

步驟六，對語義蘊含關系建模，進行語義推斷，最終形成對話檢索的模型，完成基于預訓練對偶注意力神經網絡語義推斷；

在步驟一中，所述初始化過程細化為：

在公開匿名網絡論壇上爬取多輪主題數據，按照主題分類設置不同的標簽，將所有對話者的聊天內容的每一條作為節點，對于每一條節點，與其周圍的最近的那一或兩組不同身份發言者的聊天內容之間有且僅有一條邊，記錄從主題開始到結束的每一條路徑，得到由該論壇主題的對話；

在步驟五中，所述交互后進行比較的過程，包括基于分類算法的用戶狀態追蹤、學習排序和客戶服務對話檢索NLI；

所述基于分類算法的用戶狀態追蹤，具體細化為：分類算法是基于ElectraTransformer的深度學習的分類算法預測當前聊天領域、用戶的煩惱類型和心理狀況危險等級，在數據集上進行訓練和驗證，采用了self-attention解決方案，讓每個time step的輸出考慮了全局的輸入，并可以并行計算；之后形成多個子空間，將查詢句q，候選對話的歷史信息組成的鍵值k和需要查詢的對話句v各自切成多個來進行細粒度的self-attention；

所述學習排序，具體指把對話視作文檔，經過對話分類以及關鍵詞分析之后，每個文檔都會被分析成多個獨立的域，并分配權重利用BM25F對每一個單詞在各個field中分值的加權求和；

所述客戶服務對話檢索NLI過程，先將訓練集中的對話進行分塊，然后將對話結構進行NLI建模，具體步驟如下：

步驟五一，NLI中文訓練，對模型生成概率進行定義，余弦相似度組成回歸規則，

P_θ(Q;AE)=1 …… (9)

P_θ(Q;Ac)=0 …… (10)

P_θ(Q;AS)=0.5 …… (11)

其中，θ為注意力模型參數，Q表示的蘊含關系訓練微調模型，AE表示與Q有蘊含關系的句子，AC表示矛盾關系，AS表示中立關系，至此得到與訓練的模型參數θ”；所述公式（9）-（11）是用余弦相似度的形式擬合蘊含關系的概率期望；

步驟五二，對于長對話的最后若干輪次進行滿足幾何分布的運算，得到預訓練參數；

步驟五三，對于數據集中對話，利用余弦相似度的形式擬合蘊含關系的概率期望，采取均方差損失計算損失函數，由此得到了全部預訓練目標；

步驟五四，先根據最后一句話，根據余弦相似度計算最好的結果，之后分別選擇與客戶序列具有語義上的關聯性，與服務序列具有一致性的回復，然后根據每一句的得分選出p個備選句，最后隨機選擇備選句中的一個，完成一次檢索。

2.根據權利要求1所述方法，通過模塊拼接形成預訓練對偶注意力神經網絡語義推斷對話檢索系統，其特征在于：該系統包括數據預處理模塊、預編碼模塊、檢索建立模塊、對話分塊模塊、排序模塊、NLI訓練模塊和模型生成模塊；

預處理模塊將對話進行收錄，傳輸至預編碼模塊進行初步編碼，通過檢索模塊篩選對話并發送至對話分塊模塊進行區分、排序模塊進行數據整理后傳輸至NLI訓練模塊利用對偶注意力機制進行神經網絡訓練，最后由模型生成模塊建立預訓練對偶注意力神經網絡語義推斷對話檢索系統。