[發明專利]基于雙向注意力神經網絡的對話理解方法、裝置及設備

有效

• 申請號: 201911001131.0
• 申請日: 2019-10-21
• 公開（公告）號: CN110853626B
• 公開（公告）日: 2021-04-20
• 發明（設計）人: 熊熙;徐孟奇;田浩;李元媛;李中志;琚生根
• 申請（專利權）人: 成都信息工程大學
• 主分類號: G10L15/06
• 分類號: G10L15/06;G10L15/16;G10L15/26;G06F40/211;G06F40/279;G06F40/30;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 成都玖和知識產權代理事務所(普通合伙) 51238
• 代理人: 胡琳梅

1.一種基于雙向注意力神經網絡的對話理解方法，其特征在于，包括：

步驟S1、對用戶的語音信號進行識別得到輸入序列；

步驟S2、通過嵌入層將所述輸入序列映射到向量，分別生成所述輸入序列的意圖注意力第一向量和語義槽注意力第一向量；

步驟S3、通過所述意圖注意力第一向量和所述語義槽注意力第一向量，分別生成意圖注意力向量和語義槽注意力向量；

步驟S4、將所述意圖注意力向量和所述語義槽注意力向量進行多次交互；

步驟S5、輸出與所述輸入序列對應的輸出結果；

所述步驟S3具體包括：

步驟S31、將意圖注意力向量與權重矩陣相乘，構建第一查詢矩陣、第一關鍵詞矩陣和第一值矩陣；將步驟S3所生成的語義槽注意力向量與權重矩陣相乘，構建第二查詢矩陣、第二關鍵詞矩陣和第二值矩陣；

步驟S32、將第一查詢矩陣、第一關鍵詞矩陣以及第一值矩陣作為輸入進行計算，得到自注意力向量A1；將第二查詢矩陣、第二關鍵詞矩陣以及第二值矩陣作為輸入進行計算，得到自注意力向量A2；將第一查詢矩陣和第二關鍵詞矩陣以及第二值矩陣作為輸入進行計算，得到點乘注意力向量A3；將第二查詢矩陣和第一關鍵詞矩陣以及第一值矩陣作為輸入進行計算，得到點乘注意力向量A4；將自注意力向量A1與點乘注意力向量A3相加得到權重意圖注意力向量，將自注意力A2與點乘注意力A4相加得到權重語義槽注意力向量。

2.根據權利要求1所述的對話理解方法，其特征在于，所述步驟S1具體包括：

將所述語音信號從時域轉化到頻域，提取語音信號中的詞序列；將詞序列轉化為聲學模型得分；將詞序列轉化為語言模型得分；綜合聲學模型得分和語言模型得分結果，將得分最高的詞序列識別為輸入序列；

所述聲學模型為DNN-HMM模型；

所述語言模型為RNN模型。

3.根據權利要求1所述的對話理解方法，其特征在于，所述步驟S4中意圖注意力向量和語義槽注意力向量進行多次交互具體包括如下步驟：

步驟S41、改變步驟S31中權重矩陣的權值，重復步驟S31-S32，得到不同頭的權重意圖注意力和權重語義槽注意力；連接不同頭的權重意圖注意力向量，得到意圖預測的隱藏狀態向量；連接不同頭的語義槽注意力向量，得到語義槽的隱藏狀態向量；

步驟S42、基于線性表示和Softmax函數，根據所述意圖預測的隱藏狀態向量計算并得出意圖預測值，根據所述語義槽的隱藏狀態向量計算并得出語義槽預測值；

步驟S43、重復輸入不同的語音信號，得到對應的意圖預測值和語義槽預測值，通過最小化預測值與真實值之間的交叉熵損失函數，獲取模型中所有的參數值。

4.根據權利要求1所述的對話理解方法，其特征在于，所述步驟S5具體包括：將輸出的系統動作文本化，用文本的形式將系統的動作表達出來。