[發明專利]基于TF-LSTM的CFFD提取方法、語音情感識別方法及系統

有效

• 申請號: 201811258369.7
• 申請日: 2018-10-26
• 公開（公告）號: CN109036467B
• 公開（公告）日: 2021-04-16
• 發明（設計）人: 衛偉;李曉飛;吳聰;柴磊
• 申請（專利權）人: 南京郵電大學
• 主分類號: G10L25/63
• 分類號: G10L25/63;G10L25/30;G10L25/18;G10L25/03
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 董建林

本發明公開了基于TF?LSTM的CFFD提取方法、語音情感識別方法及系統，其中基于TF?LSTM的語音情感識別系統包括CFTD生成模塊，用于根據預先提取的語音信號的時域上下文信息，生成CFTD；混合深度神經網絡模型構造模塊，用于構造混合深度神經網絡模型；CFFD提取模塊，用于將預先提取的256x256維的頻域特征輸入到構造的混合深度神經網絡模型提取；分類器訓練模塊：用于將CFTD和CFFD兩種特征進行融合，訓練線性SVM分類器，獲得最終的語音情感識別結果。本發明融合了兩種深度特征信息包括時域特征和頻域特征，以提高語音情感識別的準確性；采用一維卷積神經網絡提取時域底層特征，通過多個LSTM模塊學習語音情感信息，較好的得到了時域情感信息的上下文特征。

技術領域

本發明涉及基于TF-LSTM的CFFD提取方法、語音情感識別方法及系統，屬于語音情感識別技術領域。

背景技術

“情感計算”這一概念在近幾年已經成為了一個研究熱點，引起了國內外許多情感分析專家的關注。說話者的語音信號中往往包含了豐富的情感信息，幫助他更好的傳遞信息。同一個人用不同的情感表達同一句話時，其傳遞的信息不太相同。為了使計算機更好地理解人的情感，就必須提高語音情感識別的準確率。語音情感識別在人工客服，遠程教育，醫學輔助，和汽車駕駛等人機交互領域的應用越來越廣泛。

目前，國內外的傳統語音情感識別在情感描述模型的引入、情感語音庫的構建、情感特征分析等方面都有了很大程度的發展。語音情感識別準確率與語音情感特征的提取有很大關系，因為傳統的語音情感識別技術建立在情感聲學特征的基礎上。近些年來深度神經網絡在語音情感識別領域取得了重大突破，并且在大型詞匯連續語音情感識別任務(LVCSR)方面取得的效果比高斯混合模型/隱馬爾可夫模型(GMM/HMM)系統更好。卷積神經網絡(Convolutional Neural Network，CNN)雖然在圖像識別方面表現優異，在語音情感識別方面也能取得較好的效果，但是因為現有技術存在頻域CFFD特征提取方法存在效果不理想而導致語音情感識別效率低的問題；在另一方面，隨著科技的進步，語音信息爆炸性增長，需要處理海量的數據，而訓練一個高效率、高識別率的語音情感識別系統，成為本領域技術人員需要解決的現實問題。

發明內容

本發明所要解決的技術問題是克服現有技術的缺陷，提供基于TF-LSTM的CFFD提取方法以及語音情感識別方法和系統，通過構建深度混合深度神經網絡模型來提取CFFD，提高了識別效率，并將時域上下文特征(Contextual Features in Time Domain，CFTD)和頻域上下文特征(Contextual Features in Frequency Domain融合，CFFD)，使兩種深度特征在語音別中具有很好的互補性，提高了識別的精度。

為解決上述技術問題，本發明首先提出基于TF-LSTM的CFFD提取方法，包括以下步驟：

構造混合深度神經網絡模型；

將預先提取的256x256維頻域特征輸入到構造的混合深度神經網絡模型提取CFFD；

所述混合深度神經網絡模型包括：一個輸入層、五層卷積層、三層最大池化層、兩層全連接層以及一個LSTM模塊；

第一卷積層C1之后是第一最大池化層；第二卷積層C2之后再次是第二最大池層；接著是第三、第四和第五層卷積層接著是第三最大池層；第五層卷積層C5之后是兩個維度均為4096維的全連接層；

全連接層之后拼接一個LSTM模塊，所述LSTM模塊有一個隱含層，隱含層的輸入是4096維，輸出也是4096維，LSTM的輸出作為網絡的輸出，整個網絡的輸出為4096維，得到CFFD。

在另一方面，本發明提供基于TF-LSTM的語音情感識別方法，包括以下步驟：

根據預先提取的語音信號的時域上下文信息，生成CFTD；

構造混合深度神經網絡模型；