[發明專利]一種基于物理波和循環網絡的語音情感識別方法

有效

• 申請號: 202110418944.0
• 申請日: 2021-04-19
• 公開（公告）號: CN113284515B
• 公開（公告）日: 2023-05-02
• 發明（設計）人: 王春立;鄭純軍
• 申請（專利權）人: 大連海事大學
• 主分類號: G10L25/63
• 分類號: G10L25/63;G10L25/30;G10L25/03
• 代理公司: 大連東方專利代理有限責任公司 21212
• 代理人: 陳麗;李洪福

1.一種基于物理波和循環網絡的語音情感識別方法，其特征在于，所述方法包括：

獲取待識別的語音段；

對所述語音段進行擴展處理，得到延拓聲波場；

從聲波的傳輸機制入手，根據波動物理動力學與情感表達的映射關系確定對音頻信號進行特征提取的物理波模型，基于所述物理波模型對所述延拓聲波場進行特征提取；

利用訓練好的循環網絡模型對提取出的特征進行語音情感識別，得到所述語音段的語音情感；所述循環網絡模型采用3層雙向長短期記憶模型，每層長短期記憶模型的隱藏節點具有256個單元；在長短期記憶模型的第3層后，還包括注意力層；將注意力層的輸出注入全連接層和Softmax，輸出預測情感分類結果；

其中，所述物理波模型包括：

當波在空間中傳播時，其攜帶的信息處理的內存和容量由波提供；

根據標量場分布的動力學，時間和空間的波函數u_t＝u(x,y,z,t)由波動方程控制，其中x，y，z表示空間點的坐標，t表示時間；

使用時間步長為Δt的中心有限差分進行時間離散，如下式所示：

其中，是拉普拉斯算子，c是波速的空間分布，f_t＝f(x,y,z,t),其中f是源項，f_t是源項的時間分布；

令h_t表示當前時刻的輸出，得到

其中，b表示阻尼系數，z_o(t)表示輸出門；

設置c_t用于表示當前時刻的單元狀態，得到

上式將輸入序列轉化為具有時序關系的輸出序列，之前的每一步操作都被編碼成循環神經網絡的隱藏狀態，在每一步中都得到了更新，其更新形式與長短期記憶模型的形式一致：c_t＝z_f⊙c_t-1+z_i⊙z，其中，z_f和z_i分別表示長短期記憶模型中的忘記門和輸入門，于是有：z＝f(t)；

得到：

其中，σ為sigmoid函數，x_t表示原始聲學信號的輸入；

基于上式求出w_f，w_i，w的值，w_f，w_i，w分別代表忘記門、輸入門和輸出的權重；

通過u_t的依賴關系，波動方程能夠訓練波速c的分布，其中，c＝c_lin+u_t²·c_nl；c_lin是波傳輸材料區域中具有的線性響應關系，c_nl是波傳輸材料區域中具有的非線性響應關系。

2.根據權利要求1所述的基于物理波和循環網絡的語音情感識別方法，其特征在于，對所述語音段進行擴展處理，包括：

利用固定步長深度遞推聲波延拓方法對所述語音段進行擴展處理。

3.根據權利要求2所述的基于物理波和循環網絡的語音情感識別方法，其特征在于，所述固定步長深度遞推聲波延拓方法包括：

確定延拓標準，所述延拓標準下生成的語音信號能夠表達完整的情感；

識別所述語音段中固定步長下的最佳連續語音幀區間，所述最佳連續語音幀區間為所述語音段的所有區間中深度累計最大的區間；

采用固定步長平移和校正的方法將所述最佳連續語音幀區間拓展至所述語音段的全部區間，得到延拓聲波場。

4.根據權利要求1所述的基于物理波和循環網絡的語音情感識別方法，其特征在于，延拓標準為：

將所述語音段視為聲波，假設當前聲波點的坐標為(x,y),深度方向坐標為z，圓頻率為w，則在深度z處的聲波場表示為W(x,y,z,w)，在深度域聲波延拓的方程為：其中，S是亥姆霍茲算子的單平方根算子，表示為：其中，v(x,y,z)是在空氣介質下語音傳播的波速。