[發(fā)明專利]一種基于雙模態(tài)組合多學(xué)習(xí)模型識(shí)別器的情感的識(shí)別方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202210089694.5
• 申請(qǐng)日: 2022-01-25
• 公開（公告）號(hào): CN114595744A
• 公開（公告）日: 2022-06-07
• 發(fā)明（設(shè)計(jì)）人: 許喜斌;呂烈尉;廖嵐嵐;何芳;陸遠(yuǎn)蓉;趙小蕾;王光琴
• 申請(qǐng)（專利權(quán)）人: 廣東工程職業(yè)技術(shù)學(xué)院
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N3/08;G10L15/02;G10L15/06;G10L15/16;G10L25/63;G06V10/80;G06V10/764;G06V10/74
• 代理公司: 廣州海心聯(lián)合專利代理事務(wù)所(普通合伙) 44295
• 代理人: 李哲瑜

1.一種基于雙模態(tài)組合多學(xué)習(xí)模型識(shí)別器的情感的識(shí)別方法，其特征在于，包括如下步驟：

(1)將音頻文件分別進(jìn)行提取后獲得語音特征和文本特征；

(2)將語音特征和文本特征進(jìn)行交互注意力處理，獲得雙模態(tài)交互融合特征S；

(3)將雙模態(tài)交互融合特征S分別與語音特征和文本特征進(jìn)行點(diǎn)乘處理后獲得處理后語音特征F_a和處理后文本特征F_t；

(4)將處理后語音特征F_a和處理后文本特征F_t同時(shí)送入多個(gè)學(xué)習(xí)模型識(shí)別器中識(shí)別后再融合處理得到識(shí)別結(jié)果。

2.根據(jù)權(quán)利要求1所述的一種基于雙模態(tài)組合多學(xué)習(xí)模型識(shí)別器的情感的識(shí)別方法，其特征在于，在步驟(1)中，所述的語音特征包括音高(Peak_values)、諧波(H)、語音能量(E)、暫停數(shù)量(pause)和中心距，

所述音高(Peak_values)的計(jì)算公式為：

Peak_values＝xcorr(y_clipped[n])；

其中，xcorr為自相關(guān)函數(shù)，y[n]為輸入的離散語音信號(hào)，C為輸入信號(hào)平均值的一半，y_clipped[n]為去中心裁剪的語音信號(hào)；

所述諧波(H)的計(jì)算公式為：

H＝{H_h}；

H_h＝M(S_h,l_harm)；

其中，H_h為諧波增強(qiáng)的頻譜切片，M為中值濾波器；S_h為一個(gè)給定的頻譜S的第h個(gè)頻率切片，l_harm為諧波濾波器的長度；

所述語言能量(E)的計(jì)算公式為：

其中，y[i]輸入的離散語音信號(hào)；

所述暫停數(shù)量(pause)的計(jì)算公式為：

pause＝pr(y[n]t)；

其中，t為設(shè)定的閾值，y[n]為輸入的離散語音信號(hào)；

所述的中心距為信號(hào)幅度的平均值和標(biāo)準(zhǔn)差。

3.根據(jù)權(quán)利要求2所述的一種基于雙模態(tài)組合多學(xué)習(xí)模型識(shí)別器的情感的識(shí)別方法，其特征在于，在步驟(1)中，所述的文本特征為詞頻-逆文檔頻率(TFIDF)，由詞頻(TF)和逆文檔頻率(IDF)兩部分組成；

所述的詞頻-逆文檔頻率(TFIDF)的計(jì)算公式為：

TFIDF_i,j＝TF_i,j×IDF_i；

其中，有語料庫D＝{d_j}，d_j為第j個(gè)文檔；n_i,j表示詞條t_i在文檔d_j中出現(xiàn)的次數(shù)，n_k,j表示詞條t_k在文檔d_j中出現(xiàn)的次數(shù)，TF_i,j表示詞頻即t_i在文檔d_j中出現(xiàn)的頻率；N為總文檔數(shù)，l表示包含詞條t_i的文檔數(shù)，IDF_i表示逆文檔頻率。

4.根據(jù)權(quán)利要求1所述的一種基于雙模態(tài)組合多學(xué)習(xí)模型識(shí)別器的情感的識(shí)別方法，其特征在于，所述的步驟(2)包括以下步驟：

(2.1)將獲得的將語音特征和文本特征進(jìn)行拼接，獲得語言和文本級(jí)聯(lián)特征；

(2.2)將語言和文本級(jí)聯(lián)特征去除雙模態(tài)間數(shù)據(jù)的異構(gòu)性，同時(shí)獲取雙模態(tài)間的交互信息，獲得雙模態(tài)交互融合特征S。

5.根據(jù)權(quán)利要求1所述的一種基于雙模態(tài)組合多學(xué)習(xí)模型識(shí)別器的情感的識(shí)別方法，其特征在于，所述的步驟(2)中，交互融合特征S的計(jì)算公式為：

其中，V_a為語音特征向量，V_t為文本特征向量，W為隨機(jī)初始化的權(quán)重矩陣，b為偏置項(xiàng)，為拼接操作。