[發明專利]一種多人對話系統的情緒識別模型

在審

• 申請號: 202010164874.6
• 申請日: 2020-03-11
• 公開（公告）號: CN111460143A
• 公開（公告）日: 2020-07-28
• 發明（設計）人: 林小穎;徐向民;邢曉芬;殷瑞祥;郭鍇凌
• 申請（專利權）人: 華南理工大學
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06N3/04;G06N3/08
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 王東東

本發明公開了一種多人對話系統的情緒識別模型，包括S1提取數據集中的特征，所述特征包括文本特征及語音特征；S2根據文本特征及語音特征，構建改進的DialogueRNN網絡；S3訓練改進的DialogueRNN網絡，得到最終的聲學模型即情緒識別模型。本發明在考慮模型對現實多人對話場景的建模能力、對上下文信息提取能力及模型的大小等方面的因素下，通過引入Listener的Party State和不同人的Emotion State，提高了DialogueRNN情緒識別模型的性能。

技術領域

本發明屬于情緒識別領域，特別涉及一種多人對話系統的情緒識別模型

背景技術

對話系統中的情感識別是許多應用程序的必要步驟，包括聊天記錄中的主題挖掘，社交媒體線索，在實時對話中了解消費者反饋等方面。多人對話系統中的情緒識別，上下文信息起到非常重要的作用，利用循環神經網絡(Recurrent Neural Network,RNN)可以很好地提取上下文信息，循環神經網絡是一類以序列(sequence)數據為輸入，在序列的演進方向進行遞歸(recursion)且所有節點(循環單元)按鏈式連接的遞歸神經網絡(recursive neural network)。

對循環神經網絡的研究始于二十世紀80-90年代，并在二十一世紀初發展為深度學習(deep learning)算法之一，其中雙向循環神經網絡(Bidirectional RNN,Bi-RNN)和長短期記憶網絡(Long Short-Term Memory networks，LSTM)是常見的的循環神經網絡。

一般是情緒識別系統分成幾個步驟，第一是特征的提取，包括文本，語音，視頻等特征，第二是特征的融合，第三是對場景進行建模。

在多人對話系統中，現有的基于RNN的情緒識別模型DialogueRNN可以比較好地刻畫現實對話的場景，但跟實際情況也存在一些出入，并不能比較好地模擬實際場景，從這方面來說，基于RNN的多人對話系統中的情緒識別模型DialogueRNN性能有待進一步地提升。

發明內容

本發明的主要目的在于克服現有技術的缺點與不足，提供一種多人對話系統的情緒識別模型。本發明在考慮模型建模能力、對上下文信息提取能力及模型的大小等方面的因素下，通過引入Listener的Party State和不同人的Emotion State，對現實場景更好地建模，從而提高情緒識別系統整體性能。

本發明的目的通過以下的技術方案實現：

一種多人對話系統的情緒識別模型，包括：

S1提取數據集中的特征，所述特征包括文本特征及語音特征；

S2根據文本特征及語音特征，構建改進的DialogueRNN網絡；

S3訓練改進的DialogueRNN網絡，得到最終的聲學模型即情緒識別模型。

所述改進的DialogueRNN網絡是在基礎的DialogueRNN網絡中引入Listener的Party State和不同人的Emotion State，得到改進后的DialogueRNN網絡。

所述S2根據文本特征及語音特征，構建改進的DialogueRNN網絡，具體為：

將當前時刻的文本特征及語音特征輸入Global GRU提取上下文信息的特征g_t；

上下文信息的特征(g₁g₂...g_t-1)通過Attention機制得到Context Vector(c_t)；