[發明專利]基于層次化多頭交互注意力的對話狀態生成方法

有效

• 申請號: 202011341577.0
• 申請日: 2020-11-25
• 公開（公告）號: CN112131861B
• 公開（公告）日: 2021-03-16
• 發明（設計）人: 周玉;李梅;向露;宗成慶
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06F40/205
• 分類號: G06F40/205;G06F40/284;G06F40/242;G06N3/04;G06N3/08;G06F16/332
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

1.一種基于層次化多頭交互注意力的對話狀態生成方法，其特征在于，該方法包括：

步驟S10，基于文本詞典對獲取的待處理對話文本進行預處理，獲得待處理對話文本對應的詞向量；所述文本詞典為統計文本語料中非重復字/詞獲得的字/詞與id的對應關系；

步驟S20，基于所述待處理對話文本對應的詞向量，通過編碼器進行各個句子的獨立編碼，獲得待處理對話文本的上下文表示；

以解碼器上一時刻輸出作為當前時刻輸入，并通過自注意力機制編碼當前時刻輸入的歷史向量化表示，將解碼器當前時刻輸入與所述歷史向量化表示相加作為當前時刻的解碼器輸入向量；所述解碼器，其第0時刻的輸入為設定字符；

步驟S30，基于待處理對話文本的上下文表示和當前時刻的解碼器輸入向量，通過多頭注意力機制計算待處理對話文本針對當前時刻解碼器輸入的上下文表示，獲取待處理對話文本當前時刻的上下文向量表示；

步驟S40，基于所述待處理對話文本當前時刻的上下文向量表示以及當前時刻的解碼器輸入向量，進行非線性映射獲得實體和狀態作為待處理對話文本的對話狀態；

其中，所述編碼器、解碼器分別為一個多層的基于Transformer構建的神經網絡。

2.根據權利要求1所述的基于層次化多頭交互注意力的對話狀態生成方法，其特征在于，所述待處理對話文本的上下文表示，其計算方法為：

其中，表示編碼器的層歸一化模塊，表示編碼器的前饋網絡，是編碼器的多頭自注意力機制，和分別代表待處理對話文本中第個句子在編碼器的第層和第網絡的輸出；所述待處理對話文本中所有句子在編碼器的最后一層的輸出構成待處理對話文本的上下文表示。

3.根據權利要求1所述的基于層次化多頭交互注意力的對話狀態生成方法，其特征在于，所述歷史向量化表示，其計算方法為：

其中，表示解碼器的層歸一化模塊，表示解碼器的前饋網絡，是解碼器的多頭自注意力機制，和分別代表解碼器的歷史輸入在當前時刻解碼器的第層和第網絡的輸出。

4.根據權利要求1所述的基于層次化多頭交互注意力的對話狀態生成方法，其特征在于，步驟S30包括：

步驟S31，將待處理對話文本的上下文表示中所有的單詞隱向量表示拼接為一個序列，并基于當前時刻的解碼器輸入向量進行拼接序列的多頭注意力權重的計算，獲得待處理對話文本的多頭注意力權重；

步驟S32，基于所述多頭注意力權重以及拼接序列，獲得待處理對話文本的字級別上下文表示；基于所述多頭注意力權重，分別在句子內計算加權的句子向量，獲得句子的加權向量化表示；

步驟S33，基于所述句子的加權向量化表示，在多頭內進行自我注意力機制的計算，獲得待處理對話文本的句子級別的上下文表示；

步驟S34，進行待處理對話文本的字級別和句子級別的上下文表示的融合，并對融合后的上下文進行層歸一化和線性化，獲得待處理對話文本當前時刻的上下文向量表示。

5.根據權利要求4所述的基于層次化多頭交互注意力的對話狀態生成方法，其特征在于，步驟S31中進行拼接序列的多頭注意力權重的計算，其方法為：

其中，表示在時刻的第個頭的注意力權重，為解碼器經過自注意力機制后得到的向量化表示，表示拼接的文本序列的向量，表示第個頭內向量的維度，是稀疏歸一化函數，和為可訓練的參數，和分別表示第個頭的query矩陣和key矩陣。

6.根據權利要求5所述的基于層次化多頭交互注意力的對話狀態生成方法，其特征在于，步驟S32中基于所述多頭注意力權重以及拼接序列，獲得待處理對話文本的字級別上下文表示，其方法為：

其中，表示第個頭的value矩陣表示，表示第個頭的加權的值表示，代表拼接操作，是將多個頭的表示連接在一起的經過線性映射獲得的待處理對話文本的字級別上下文表示，和為可訓練的參數。