[發明專利]基于多分類器交互學習的語音情感識別方法

有效

• 申請號: 202011623065.3
• 申請日: 2020-12-31
• 公開（公告）號: CN112837701B
• 公開（公告）日: 2022-12-27
• 發明（設計）人: 谷裕;梁雪峰;周穎;尹義飛;韓迎萍;姚龍山
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G10L25/63
• 分類號: G10L25/63;G06K9/62
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 王品華

1.一種基于多分類器交互學習的語音情感識別方法，其特征在于，包括如下：

(1)從數據集MAS中按照模糊程度，劃分為三個數據集D1，D2，D3，其中D1表示包含具有精確標簽樣本的數據集，共計6000個語音數據；D2表示包含具有大量無標簽樣本的數據集，共計13400個語音數據；D3表示包含具有模糊樣本的數據集，共計1000個語音數據，用于評估交互學習的表現；

(2)使用精確標簽的數據集D1分別對DenseNet、ResNet、VGG、AlexNet和SuqeezeNet這五個分類器進行初次訓練，得到對應的五個模型：DenseNet模型、ResNet模型、VGG模型、AlexNet模型和SuqeezeNet模型；

(3)使用(2)中得到的五個模型分別對無標簽樣本數據集D2進行分類，并將分類結果以五個模型投票的方式進行統計；

(4)將(3)中五個模型的投票結果歸一化為分布形式，得到模糊標簽，作為無標簽樣本數據集D2的標簽，將這些標簽作為交互信息，得到具有交互信息的數據集D4；

(5)用(4)得到的具有交互信息的數據集D4對(2)得到五個模型進行二次訓練，即用有交互信息的數據集D4與初次訓練好的五個模型進行交互學習，得到二次訓練后的DenseNet模型、ResNet模型、VGG模型、AlexNet模型和SuqeezeNet模型，并保存；

(6)進行語音情感識別：

(6a)將模糊樣本數據集D3中的語音數據放入到二次訓練后的五個模型中，每個模型作為一個分類器，都對數據從憤怒，高興，平靜，恐慌和悲傷這五個情感進行分類判別，并給出每個分類判別結果的準確率；

(6b)從(6a)得到分類判別結果及其準確率中，挑選五個模型中判別準確率最高的一個模型的結果，作為數據的標簽，該標簽就是數據對應的情感類別。

2.根據權利 要求1所述的方法，其特征在于：(2)中使用有精確標簽的數據集D1對所述的五個分類器進行初次訓練，實現如下：

(2a)初始化五個分類器參數，初始迭代次數為K＝50，設學習率為L＝0.001；

(2b)使用交叉熵損失函數計算模型損失loss:

其中，y_ji是第j個數據的第i個數據標簽，是模型輸出的第j個數據的第i個標簽，j從1到m，i是從1到n，m是樣本數據總數，n是類別數；

(2c)將精確標簽樣本數據集D1中的數據分別放入五個模型中，分別計算數據在五個模型中的損失函數loss50次；

(2d)判斷每個模型的損失函數loss在50次的計算中是否一直減小：

若減小，則令當前模型的K加1，返回(2b)；

若損失函數loss不再變化，則停止訓練該分類器，得到初次訓練好的五個模型；

保存訓練好的五個模型DenseNet模型、ResNet模型、VGG模型、AlexNet模型和SuqeezeNet模型。

3.根據權利 要求1所述的方法，其特征在于：(4)中得到的具有交互信息的數據集D4實現如下：

(4a)用初次訓練好的五個模型對無標簽樣本數據集D2進行分類，將分類結果用投票的方式進行統計，得到每種情感的投票結果其中a表示憤怒，h表示高興，n表示恐慌，s表示悲傷；

(4b)將投票結果進行歸一化處理，得到每個樣本x被分為各類情感的概率：

其中N為模型數目；

(4c)將(4b)得到的概率聯合表示為每個樣本的模糊標簽Y_x：

(4d)將所有樣本模糊標簽作為交互信息，得到具有交互信息的數據集D4。

4.根據權利要求1所述的方法，其特征在于：(5)中用有交互信息的數據集D4與初次訓練好的五個模型進行交互學習，實現如下：

(5a)設置網絡參數：初始迭代次數K＝50，設學習率L＝0.001；

(5b)使用相對熵KL散度作為初次訓練好的每個模型的損失函數，用來估計第j個模糊標簽與第j個模型輸出之間的距離D_KL：

j是從1到N；

(5c)將具有交互信息的數據集D4的數據分別放入初次訓練好的五個模型中，計算數據在每個模型中的損失函數D_KL共50次；

(5d)判斷損失函數D_KL在50次的計算中是否一直減小：

若是，則K加1，返回(5b)；

若損失函數D_KL不再變化，則停止訓練，得到二次訓練好的五個模型DenseNet模型、ResNet模型、VGG模型、AlexNet模型和SuqeezeNet模型。