[發明專利]一種基于層次化注意力機制的多輪對話模型構建方法

在審

• 申請號: 201710986813.6
• 申請日: 2017-10-20
• 公開（公告）號: CN107766506A
• 公開（公告）日: 2018-03-06
• 發明（設計）人: 張偉男;汪意發;朱慶福;劉挺
• 申請（專利權）人: 哈爾濱工業大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 哈爾濱市松花江專利商標事務所23109
• 代理人: 楊立超

1.一種基于層次化注意力機制的多輪對話模型構建方法，包括：

步驟一、接收n+1個句子輸入c_o，c₁，...c_n；

步驟二、針對每一個句子c_i，從第一個單詞開始計算加密隱函數h_i，t＝f(x_i，t，h_i，t-1)，其中其中x_i，t代表c_i第t個單詞；其中h_i，0為預設參數；并將最后一個計算完畢的h_i，t作為句子c_i的加密隱函數h_i；

步驟三、計算第i個句子的Attention權重其中e_i＝v^Ttanh(Wh_i+Uh_n)；v、W、U均為Attention機制中的預設參數；tanh為激活函數；

步驟四、計算話題語境表示向量T＝∑α_ih_i；

步驟五、計算解密隱函數s_t＝f(y_t-1，s_t-1，T)，y_t-1表示t-1時刻的迭代輸入量，y₀為預設值；s₀＝h_n；

步驟六、將s₁，s₂，…s_n的值作為結果進行輸出。

2.根據權利要求1所述的基于層次化注意力機制的多輪對話模型構建方法，其特征在于，當步驟一中接收的句子輸入為訓練數據時，步驟五中y_t-1為預設的標準答案單詞，當步驟一中接收的句子輸入為實測數據時，步驟五中y_t-1的值等同于s_t-1。

3.一種基于層次化注意力機制的多輪對話模型構建方法，包括：

步驟一、接收n+1個句子輸入c_o，c₁，...c_n；

步驟二、針對每一個句子c_i，從第一個單詞開始計算加密隱函數h_i，t＝f(x_i，t，h_i，t-1)，其中其中x_i，t代表c_i第t個單詞；其中h_i，0為預設參數；并將最后一個計算完畢的h_i，t作為句子c_i的加密隱函數h_i；

步驟三、計算第i個句子中第t個單詞的Attention權重其中e_it＝v^Ttanh(Wh_i+Us_t-1)；v、W、U均為Attention機制中的預設參數；s_t-1為t-1時刻的隱層狀態；tanh為激活函數；

步驟四、計算動態表示向量D_t＝α_ith_i；

步驟五、計算解密隱函數s_t＝f(y_t-1，s_t-1，D_t)，y_t-1表示t-1時刻的迭代輸入量，y₀為預設值；s₀＝h_n；

步驟六、將s₁，s₂，…s_n的值作為結果進行輸出。

4.根據權利要求3所述的基于層次化注意力機制的多輪對話模型構建方法，其特征在于，當步驟一中接收的句子輸入為訓練數據時，步驟五中y_t-1為預設的標準答案單詞，當步驟一中接收的句子輸入為實測數據時，步驟五中y_t-1的值等同于s_t-1。