[發明專利]基于無監督對話預訓練的對話理解與答案配置方法及系統

有效

• 申請號: 202110595442.5
• 申請日: 2021-05-29
• 公開（公告）號: CN113032545B
• 公開（公告）日: 2021-09-03
• 發明（設計）人: 張振羽;江嶺;黃鵬
• 申請（專利權）人: 成都曉多科技有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33;G06F40/126;G06F40/284;G06N3/04;G06N3/08
• 代理公司: 成都睿道專利代理事務所(普通合伙) 51217
• 代理人: 薛波

本發明提供了基于無監督對話預訓練的對話理解與答案配置方法，包括進行對話相關的對話信息預處理，構建具有對話內容、角色信息及輪次信息的對話輸入樣本，將對話輸入的信息進行詞嵌入；將帶有對話文本單詞信息、位置信息、角色信息以及輪次信息的詞嵌入輸出結果相加作為對話預訓練語言模型encoder的輸入；對模型encoder輸出的編碼向量進行基于BiLSTM?CNN的池化處理獲得對話表征向量；利用對話級別的句子掩碼建模、單詞整體掩碼建模和基于回復生成的對話級別對比學習建模任意組合生成的預訓練學習任務，對模型進行優化。本發明可有效解決多輪對話意圖識別，且通過生成回復答案的方法能夠提高答案的配置效率。

技術領域

本發明涉及自然語言處理技術領域，具體而言，涉及基于無監督對話預訓練的對話理解與答案配置方法及系統。

背景技術

在電商領域，在線服務是完成交易的重要一環，用戶通常會在購物前對商家進行咨詢然后下單。但是咨詢量過大導致無法及時回復用戶信息，電商夜間無人值守時期用戶咨詢無人響應等問題，都會影響在線交易成功率。對話機器人可以提供24小時無間斷的服務，而且可以應對大量的咨詢，其種種優勢已經成為了目前電商平臺必備的基礎組件之一。例如，中國最大的通用電商平臺淘寶，在線服務機器人就已經被大量使用。

在線機器人在對話中，首先識別用戶消息的意圖，進而根據意圖進行回復相應答案。目前業界采用的單句意圖識別方法，難以適應多輪對話；而針對多輪對話的意圖識別與答復方法，過于依賴規則配置，人工成本較高。對話是一個多輪過程，因此理解對話意圖需要對整個對話語句進行全局理解。此外，目前業界基于對話意圖進行答案的人工配置，對人力消耗較大，導致機器人配置服務成本過高。理解對話意圖的基礎上，可以基于整個對話的信息進行生成答案，從而完成答案自動配置，提高機器人回復效率，降低機器人服務成本。

發明內容

本發明旨在解決背景技術中存在的問題，提供一種可以有效解決多輪對話意圖識別以及提高答案的配置效率的基于無監督對話預訓練的對話理解與答案配置方法及系統。

本發明的實施例通過以下技術方案實現：基于無監督對話預訓練的對話理解與答案配置方法，包括如下步驟：

進行對話相關的對話信息預處理，構建具有對話內容、角色信息及輪次信息的對話輸入樣本，將對話輸入的信息進行詞嵌入；

將帶有對話文本單詞信息、位置信息、角色信息以及輪次信息的詞嵌入輸出結果相加作為對話預訓練語言模型encoder的輸入；

對模型encoder輸出的編碼向量進行基于BiLSTM-CNN的池化處理，獲得對話表征向量；

利用對話級別的句子掩碼建模、單詞整體掩碼建模和基于回復生成的對話級別對比學習建模其中之一或其任意組合生成的預訓練學習任務，對模型進行優化。

根據一種優選實施方式，所述進行對話相關的對話信息預處理包括：

利用sentencepiece構建分句模型；

基于unigram model算法對所述分句模型進行預訓練；

利用訓練完成后的分句模型對對話信息進行分句處理。

根據一種優選實施方式，所述將對話輸入的信息進行詞嵌入包括：

將對話信息輸入嵌入層，所述嵌入層包括對話輪次嵌入層、角色信息嵌入層、位置嵌入層以及單詞嵌入層；

經所述嵌入層分別對對話信息中句子的角色信息、句子的倫次信息、單詞的信息和單詞的位置信息進行詞嵌入。

根據一種優選實施方式，所述對話預訓練語言模型為采用adapter方法進行權重初始化后的Transformer模型，其中，采用adapter方法進行權重初始化具體包括：