[發(fā)明專利]一種基于多模態(tài)識(shí)別的自學(xué)習(xí)情感交互方法

有效

• 申請?zhí)枺?/td>: 202010973218.0
• 申請日: 2020-09-16
• 公開（公告）號(hào): CN112083806B
• 公開（公告）日: 2021-10-26
• 發(fā)明（設(shè)計(jì)）人: 劉卓;鄧曉燕;潘文豪;潘粵成;蔡典侖
• 申請（專利權(quán)）人: 華南理工大學(xué)
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01;G06F3/16;G06K9/00;G06K9/62;G06N3/04
• 代理公司: 廣州市華學(xué)知識(shí)產(chǎn)權(quán)代理有限公司 44245
• 代理人: 詹麗紅

1.一種基于多模態(tài)識(shí)別的自學(xué)習(xí)情感交互方法，其特征在于，所述的自學(xué)習(xí)情感交互方法包括以下步驟：

S1、利用麥克風(fēng)陣列和攝像頭非接觸式通道分別采集語音、人臉和手勢信息；

S2、提取語音、人臉和手勢信號(hào)特征，初步得到語音情感特征l、人臉特征f、手勢特征h，記N＝{l，f，h}，其中，N是語言情感特征l、人臉特征f、手勢特征h信息的集合；

S3、將語音情感特征l、人臉特征f、手勢特征h輸入到不同的雙向LSTM網(wǎng)絡(luò)層，得到單模態(tài)信息和多模態(tài)交互信息，根據(jù)單模態(tài)信息和多模態(tài)交互信息得到語音情感模態(tài)、人臉模態(tài)以及手勢模態(tài)的三模態(tài)融合特征；

S4、基于XGBOOST學(xué)習(xí)算法，結(jié)合多模態(tài)融合特征和情緒歷史狀態(tài)曲線預(yù)測用戶情緒，選擇交互模式；

S5、利用麥克風(fēng)陣列和攝像頭非接觸式通道多次分別采集語音、人臉和手勢信號(hào)，并分別提取語音情感特征l、人臉特征f、手勢特征h，得到情緒狀態(tài)曲線反饋，并以此進(jìn)行對話記憶網(wǎng)絡(luò)優(yōu)化；

S6、在相應(yīng)交互模式下，通過優(yōu)化后的對話記憶網(wǎng)絡(luò)給出交互應(yīng)答；

其中，所述的步驟S2過程如下：

S21、對采集的語音信息，基于隱馬爾可夫模型，提取語音Mel濾波器組倒譜特征，包括短時(shí)能量、共振峰、子帶能量的短時(shí)特征，得到語言情感特征l；

S22、對采集的人臉信息，輸入到多層卷積神經(jīng)網(wǎng)絡(luò)，用6個(gè)5x5的卷積核過濾器進(jìn)行卷積，得到人臉特征f；

S23、對采集的手勢信息，基于手勢的Hu矩以及指尖數(shù)，輸入到BP神經(jīng)網(wǎng)絡(luò)，得到手勢特征h；

其中，所述的步驟S3過程如下：

S31、將語音情感特征l、人臉特征f、手勢特征h分別通過私有的雙向LSTM網(wǎng)絡(luò)層進(jìn)行編碼，獲得單個(gè)模態(tài)的內(nèi)部變化信息，經(jīng)過私有的雙向LSTM網(wǎng)絡(luò)層向量拼接得到單模態(tài)的語音情感表示人臉表示和手勢表示

S32、將語音情感特征l、人臉特征f、手勢特征h分別進(jìn)行兩兩組合得到3種雙模態(tài)信息，將3種雙模態(tài)信息通過共享的雙向LSTM網(wǎng)絡(luò)層，獲得雙模態(tài)之間的動(dòng)態(tài)交互作用信息，將經(jīng)過共享的雙向LSTM網(wǎng)絡(luò)層向量拼接得到的雙模態(tài)組合表示如下：

a₁為語音情感和人臉的雙模態(tài)組合，經(jīng)過共享的雙向LSTM層得到的語音情感表示和人臉表示

a₂為語音情感和手勢的雙模態(tài)組合，經(jīng)過共享的雙向LSTM層得到的語音情感表示和手勢表示

a₃為人臉和手勢的雙模態(tài)組合，經(jīng)過共享的雙向LSTM層得到的人臉表示和手勢表示

S33、將語音情感特征l、人臉特征f、手勢特征h通過共享的雙向LSTM網(wǎng)絡(luò)層，分別獲得3種模態(tài)之間的動(dòng)態(tài)交互作用信息，其中，語音情感特征l經(jīng)過共享的雙向LSTM網(wǎng)絡(luò)層的語音情感表示為人臉特征f經(jīng)過共享的雙向LSTM網(wǎng)絡(luò)層的人臉表示為手勢特征h經(jīng)過共享的雙向LSTM網(wǎng)絡(luò)層的手勢表示

S34、將私有的雙向LSTM網(wǎng)絡(luò)層與共享的雙向LSTM網(wǎng)絡(luò)層獲得的模態(tài)信息融合到一起，通過向量拼接操作，分別獲得語音情感模態(tài)信息、人臉模態(tài)信息以及手勢模態(tài)信息的表示為：

S35、將語音情感模態(tài)信息、人臉模態(tài)信息以及手勢模態(tài)信息進(jìn)行向量拼接，獲得語音情感模態(tài)、人臉模態(tài)以及手勢模態(tài)的三模態(tài)融合特征表示：

其中，⊕表示向量拼接；

其中，所述的步驟S4過程如下：

S41、通過隨機(jī)抽樣采集人對多種模態(tài)信息的情緒識(shí)別數(shù)據(jù)，通過對該數(shù)據(jù)進(jìn)行標(biāo)注，獲得多模態(tài)情緒識(shí)別的類人化識(shí)別數(shù)據(jù)集；

其中，所述的人對多種模態(tài)信息的情緒識(shí)別數(shù)據(jù)包括多模態(tài)信息特征矩陣F和情緒結(jié)果矩陣E，其中，多模態(tài)信息特征矩陣F和情緒結(jié)果矩陣E的定義分別如下：

將多模態(tài)信息特征矩陣F和情緒結(jié)果矩陣E合并得到輸入矩陣S_i：

樣本數(shù)據(jù)經(jīng)過標(biāo)注后導(dǎo)入輸出矩陣S_o：

其中，F(xiàn)_i，i＝0,1,2…n為多模態(tài)信息的完整融合特征，E_i，i＝0,1,2…n為情緒狀態(tài)樣本數(shù)據(jù)，C_i，i＝0,1,2…n為交互模式輸出標(biāo)注數(shù)據(jù)，下標(biāo)i代表第i個(gè)樣本數(shù)據(jù)，n為樣本容量；

S42、使用XGBOOST學(xué)習(xí)算法將獲得的多模態(tài)情緒識(shí)別的類人化識(shí)別數(shù)據(jù)集訓(xùn)練為一系列CART樹，其過程為：

設(shè)置CART樹的數(shù)量和初始權(quán)重；

導(dǎo)入一組類人化識(shí)別數(shù)據(jù)集，根據(jù)初始權(quán)重產(chǎn)生一棵CART樹，然后逐漸迭代，每次迭代過程中增加一棵CART樹，逐漸形成眾多樹模型集成的強(qiáng)評估器，導(dǎo)入多組類人化識(shí)別數(shù)據(jù)集，采用boosting式集成學(xué)習(xí)算法，對權(quán)重進(jìn)行優(yōu)化，得到基于多模態(tài)融合特征的情緒識(shí)別網(wǎng)絡(luò)初步框架；

S43、記錄下第n次交互時(shí)的情緒識(shí)別數(shù)據(jù)T_n，結(jié)合前n-1次情緒識(shí)別的歷史數(shù)據(jù)T₁～T_n-1，采取非線性插值的方法，擬合出情緒歷史狀態(tài)曲線；

S44、對于多模態(tài)融合特征的情緒識(shí)別網(wǎng)絡(luò)，使其結(jié)合情緒歷史狀態(tài)曲線上各點(diǎn)的情緒識(shí)別數(shù)據(jù)，再次使用XGBOOST學(xué)習(xí)算法重新訓(xùn)練，獲得結(jié)合多模態(tài)特征和情緒歷史狀態(tài)的情緒識(shí)別網(wǎng)絡(luò)；其中，所述的情緒識(shí)別網(wǎng)絡(luò)為三層卷積神經(jīng)網(wǎng)絡(luò)，使用3個(gè)5x5的卷積核過濾器進(jìn)行卷積，情緒識(shí)別網(wǎng)絡(luò)的輸入為語音情感模態(tài)、人臉模態(tài)以及手勢模態(tài)的三模態(tài)融合特征，情緒識(shí)別網(wǎng)絡(luò)的輸出為情緒識(shí)別結(jié)果；

其中，所述的步驟S5過程如下：

將第n次交互時(shí)的情緒識(shí)別數(shù)據(jù)T_n反饋給情緒歷史狀態(tài)，擬合出新的情緒歷史狀態(tài)曲線；將對話內(nèi)容反饋給對話記憶網(wǎng)絡(luò)，對話記憶網(wǎng)絡(luò)重新進(jìn)行權(quán)重處理，實(shí)現(xiàn)對話記憶網(wǎng)絡(luò)的優(yōu)化，通過此次交互實(shí)現(xiàn)數(shù)據(jù)集更新和網(wǎng)絡(luò)優(yōu)化，實(shí)現(xiàn)自學(xué)習(xí)功能；

其中，所述的步驟S5過程如下：

S61、將多模態(tài)特征輸入到經(jīng)過訓(xùn)練的情緒識(shí)別網(wǎng)絡(luò)，獲取情緒識(shí)別數(shù)據(jù)，選擇交互模式；

S62、在相應(yīng)交互模式下，將對話內(nèi)容輸入到對話記憶網(wǎng)絡(luò)，抽取對話記憶，獲得交互應(yīng)答；其中，所述的對話記憶網(wǎng)絡(luò)包括輸入編碼層、記憶更新層、記憶卡、輸出層、應(yīng)答層，分別說明如下：

輸入編碼層I：輸入為文本，該層的輸入即整個(gè)對話記憶網(wǎng)絡(luò)的輸入，輸出為網(wǎng)絡(luò)中內(nèi)在向量，該層的輸出作為記憶更新層的輸入；

記憶更新層G：輸入為網(wǎng)絡(luò)中內(nèi)在向量，輸出為根據(jù)內(nèi)在向量更新后的對話記憶，該層的輸出作為記憶卡的輸入；

記憶卡M：用于存儲(chǔ)對話記憶，記憶更新層可對其進(jìn)行讀、寫操作，即數(shù)據(jù)的雙向傳輸，該層的輸出作為輸出層的輸入；

輸出層O：輸入為記憶卡中讀取的對話記憶，輸出為結(jié)合特定問題后給出的應(yīng)答向量，該層的輸出作為應(yīng)答層的輸入；

應(yīng)答層R：輸入為應(yīng)答向量，輸出為應(yīng)答向量對應(yīng)的文本格式，該層的輸出即整個(gè)對話記憶網(wǎng)絡(luò)的輸出。

2.根據(jù)權(quán)利要求1所述的一種基于多模態(tài)識(shí)別的自學(xué)習(xí)情感交互方法，其特征在于，所述的多模態(tài)情緒識(shí)別的類人化識(shí)別數(shù)據(jù)集包括6種不同的情緒，分別是：憤怒、恐懼、厭惡、悲傷、高興和驚訝。