[發明專利]基于無監督對話預訓練的對話理解與答案配置方法及系統有效
| 申請號： | 202110595442.5 | 申請日： | 2021-05-29 |
| 公開（公告）號： | CN113032545B | 公開（公告）日： | 2021-09-03 |
| 發明（設計）人： | 張振羽;江嶺;黃鵬 | 申請（專利權）人： | 成都曉多科技有限公司 |
| 主分類號： | G06F16/332 | 分類號： | G06F16/332;G06F16/33;G06F40/126;G06F40/284;G06N3/04;G06N3/08 |
| 代理公司： | 成都睿道專利代理事務所(普通合伙) 51217 | 代理人： | 薛波 |
| 地址： | 610000 四川省成都*** | 國省代碼： | 四川;51 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 基于 監督 對話 訓練 理解 答案 配置 方法 系統 | ||
1.基于無監督對話預訓練的對話理解與答案配置方法，其特征在于，包括如下步驟：
進行對話相關的對話信息預處理，構建具有對話內容、角色信息及輪次信息的對話輸入樣本，將對話輸入的信息進行詞嵌入；所述進行對話相關的對話信息預處理包括：
利用sentencepiece構建分句模型；
基于unigram model算法對所述分句模型進行預訓練；
利用訓練完成后的分句模型對對話信息進行分句處理；
所述將對話輸入的信息進行詞嵌入包括：
將對話信息輸入嵌入層，所述嵌入層包括對話輪次嵌入層、角色信息嵌入層、位置嵌入層以及單詞嵌入層；
經角色信息嵌入層對話信息中句子的角色信息進行詞嵌入，經對話輪次嵌入層對句子的輪次信息進行詞嵌入，經單詞嵌入層對單詞的信息進行詞嵌入，經位置嵌入層對單詞的位置信息進行詞嵌入；
將帶有對話文本單詞信息、位置信息、角色信息以及輪次信息的詞嵌入輸出結果相加作為對話預訓練語言模型encoder的輸入；所述對話預訓練語言模型為采用adapter方法進行權重初始化后的Transformer模型，其中，采用adapter方法進行權重初始化具體包括：
將對話樣本
將對話樣本
計算預訓練語言模型LM中激活神經元在各層的占比
其中，
上式中，
采用梯度下降算法AsamW對Transformer模型encoder每層的參數進行優化；
對模型encoder輸出的編碼向量進行基于BiLSTM-CNN的池化處理，獲得對話表征向量；
利用對話級別的句子掩碼建模、單詞整體掩碼建模和基于回復生成的對話級別對比學習建模其中之一或其任意組合生成的預訓練學習任務，對模型進行優化。
2.如權利要求1所述的基于無監督對話預訓練的對話理解與答案配置方法，其特征在于，所述對模型encoder輸出的編碼向量進行基于BiLSTM-CNN的池化處理包括：
將編碼向量輸入雙向長短記憶網絡BiLSTM，對所述編碼向量進行降維編碼，獲得雙向降維隱向量：
拼接所述雙向降維隱向量：
將拼接后的結果輸入卷積神經網絡CNN，經最大池化操作輸出對話表征向量如下：
上式中，，
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于成都曉多科技有限公司，未經成都曉多科技有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202110595442.5/1.html，轉載請聲明來源鉆瓜專利網。
