[發明專利]一種基于自編碼網絡聯合學習的語音測謊方法

在審

• 申請號: 202011433508.2
• 申請日: 2020-12-09
• 公開（公告）號: CN112562645A
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 劉曼;莊志豪;傅洪亮;陶華偉
• 申請（專利權）人: 河南工業大學
• 主分類號: G10L15/02
• 分類號: G10L15/02;G10L25/21;G10L25/24;G10L25/30;G10L25/51;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于自編碼網絡聯合學習的語音測謊方法，其特征在于，包括以下步驟：

(1)語音信號預處理：在語音處理預處理階段先給語音添加上真話與謊言的標簽，然后再對語音進行分幀加窗等處理；

(2)語音特征提取：對(1)中經分幀加窗處理后的數據進行語音特征提取，該特征包括但不限于基頻、短時平均能量、短時平均過零率、均方根能量、共振峰、MFCC等聲學特征；

(3)搭建網絡模型：首先該網絡由兩個自編碼網絡以及批歸一化層、Dropout層和分類層，該過程的具體實現步驟如下：

A.首先，將(2)中提取的語音特征作為輸入發送到一個自編碼網絡，同時，將經加噪處理后作為另一個自編碼網絡的輸入，兩個自編碼網絡同時進行學習，共同完成訓練過程，這兩個自編碼網絡均以原始的輸入數據為目標進行學習，這一過程實現了對原始數據的重構，通過對最小化解碼后的數據與輸入數據之間誤差函數，完成學習過程，其中，編碼過程可以用以下公式來表示：

x₁＝x (1)

y₁＝f(wx₁+b) (2)

y₁^k＝elu(w^k-1·y₁^k-1+b^k-1)2≤k≤K (3)

x₂＝x+x_noise (4)

y₂＝f(wx₂+b) (5)

y₂^k＝elu(w^k-1·y₂^k-1+b^k-1)2≤k≤K (6)

其中x所代表的是一個自編碼網絡的輸入，而y₁、y₂分別為編碼網絡的輸出；

B.本發明中在數據進行編碼之后，再以原始數據為目標進行數據的重構，該過程的實現過程可以表示為：

x₁'＝f(wy₁+b) (7)

(x₁')^k＝elu(w_D^k-1·(x₁')^k-1+b_D^k-1)2≤k≤K-1 (8)

x₂'＝f(wy₂+b) (9)

(x₂')^k＝elu(w_D^k-1·(x₂')^k-1+b_D^k-1)2≤k≤K-1 (10)

C.計算兩個自編碼網絡的數據重構誤差，損失函數分別為公式(11)、(12)，兩個自編碼網絡無監督部分的總損失為公式(13)：

L_u＝L_u1+L_u2 (13)

(4)將兩個自編碼網絡的編碼輸出進行深層融合，該過程保留語音中的更多信息；

(5)將融合后的特征輸入到全連接層，作為分類器的輸入，該過程通過設置Dropout層，一直網絡的過擬合，然后將該輸出結果進行分類識別，計算該有監督過程的損失計算選擇交叉熵損失函數，實現過程如下：

(6)分類識別輸出：將步驟(4)得到的融合后的特征送入全連接層，并采用有標簽的數據通過softmax層進行識別分類，該過程可以表示為：

y_pre＝f(W·c+b) (15)

其中，c是兩個分支通過編碼后進行融合的數據集合，y_pre是融合后數據經分類器后的分類結果，W，b分別是編碼網絡與分類器間的權重和偏置；

(7)為優化該發明提出的方法，采用梯度下降法來最小化誤差函數(重構誤差與分類誤差)，并根據誤差函數進行網絡參數的調整，以使該發明所提出的語音測謊方法性能達到最佳。