[發明專利]一種多人對話系統的情緒識別模型

在審

• 申請號: 202010164874.6
• 申請日: 2020-03-11
• 公開（公告）號: CN111460143A
• 公開（公告）日: 2020-07-28
• 發明（設計）人: 林小穎;徐向民;邢曉芬;殷瑞祥;郭鍇凌
• 申請（專利權）人: 華南理工大學
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06N3/04;G06N3/08
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 王東東

1.一種多人對話系統的情緒識別模型，其特征在于，包括：

S1提取數據集中的特征，所述特征包括文本特征及語音特征；

S2根據文本特征及語音特征，構建改進的DialogueRNN網絡；

S3訓練改進的DialogueRNN網絡，得到最終的聲學模型即情緒識別模型。

2.根據權利要求1所述的情緒識別模型，其特征在于，所述改進的DialogueRNN網絡是在基礎的DialogueRNN網絡中引入Listener的Party State和不同人的Emotion State，得到改進后的DialogueRNN網絡。

3.根據權利要求1所述的情緒識別模型，其特征在于，所述S2根據文本特征及語音特征，構建改進的DialogueRNN網絡，具體為：

將當前時刻的文本特征及語音特征輸入Global GRU提取上下文信息的特征g_t；

上下文信息的特征(g₁g₂...g_t-1)通過Attention機制得到Context Vector(c_t)；

將Context Vector(c_t)和g_t拼接后和Speaker上一時刻的Party State(P_s,t-1)通過Party GRU得到t時刻的Party State(P_s,t)；

上下文信息的特征g_t和每個listener在前n個時刻說的語句信息利用Attention機制得到c_i,t；

將c_i,t和g_t拼接后和Listener上一時刻的Party State(P_Li,t-1)得到t時刻的PartyState(P_Li,t)，

將每個人前t時刻的Emotion State通過Attention機制后和Party State(p_i,t)送進Emotion GRU得到每個人第t時刻的Emotion State(e_i,t)；

選擇Speaker的Emotion State送進DNN網絡進行分類，得到改進的DialogueRNN網絡。

4.根據權利要求3所述的情緒識別模型，其特征在于，listener的Party state，其計算公式如下：

c_t,i＝α[g_1,i,g_2,i,...,g_k,i]^T

其中，g_t代表第t時刻Global GRU的輸出，代表g_t在第t時刻影響第i個Listener的Party State，g_1,i代表第i個Listener的第一句話，g_2,i代表第i個Listener的第二句話，其他依次類推，W_α是一個矩陣，softmax函數將向量轉化成概率。

5.根據權利要求3所述的情緒識別模型，其特征在于，引入不同人的Emotion State，其數學公式如下：

α_i＝soft max(A^T[e_0,i,e_1,i,...,e_t-1,i])

其中，g_t代表第t時刻Global GRU的輸出，e_t,i是第t時刻第i個人的Emotion State,是g_t在t時刻影響第i個人的Party State，A是一個向量，softmax函數將向量轉化成概率。

6.根據權利要求1所述的情緒識別方法，其特征在于，所述采用梯度下降法訓練改進后的DialogueRNN網絡。

7.根據權利要求3所述的情緒識別方法，其特征在于，所述Attention機制中采用多種函數獲取加權值。