[發明專利]一種基于遷移學習和注意力機制的跨語料庫情感識別方法

在審

• 申請號: 202110330443.7
• 申請日: 2021-03-24
• 公開（公告）號: CN113065344A
• 公開（公告）日: 2021-07-02
• 發明（設計）人: 王塔娜;張強;王鵬飛;候亞慶
• 申請（專利權）人: 大連理工大學
• 主分類號: G06F40/279
• 分類號: G06F40/279;G06F16/35;G06F40/126;G06N3/04;G06N3/08
• 代理公司: 大連理工大學專利中心 21200
• 代理人: 隋秀文;溫福雪

本發明屬于遷移學習、情感計算等技術領域，涉及一種基于遷移學習和注意力機制的跨語料庫情感識別方法。本發明方法中使用編碼?解碼在源語料庫上進行訓練，并通過循環卷積神經網絡RNN提取上下文中的情感依賴和傳遞情況，將編碼和上下文情感依賴等特征參數遷移到目標語料庫的訓練中，通過訓練將遷移損失控制在一定范圍內進而完成知識遷移，在目標語料庫上借助遷移學習的知識進行編碼?上下文特征參數提取?分類的操作，最終完成目標語料庫上說話人情感狀態判定的任務，能夠有效解決小樣本訓練不充分的問題。

技術領域

本發明屬于遷移學習、情感計算等技術領域，涉及一種基于遷移學習和注意力機制的跨語料庫情感識別方法，用于解決小樣本訓練不充分的問題。

背景技術

情感計算旨在通過賦予計算機識別、理解、表達和適應人的情感能力來構建和諧的人機環境，并使計算機具有更加高效全面的智能。作為人工智能的重要分支，情感計算與分析不僅在實現機器智能化方面不可或缺，在輿論輿情監控、臨床心理動態檢測以及人機交互等領域更是十分重要。

近些年，深度學習在語音處理、圖像分類和其他機器學習相關領域表現優異，這其中就包括人類的情感識別和認知理解，很多工作都是在卷積神經網絡(CNN)、循環神經網絡(RNN)等及其變種模型上進行，取得了一定的進步。最初的研究多是在單一語料庫上通過表情或文字等單模態來識別目標人物的情感狀態，然而隨著神經網絡結構的不斷復雜化，網絡訓練需要大量的標注數據，高昂的數據標注成本一定程度上制約了訓練的實際操作。為解決這一難題，近些年有學者提出遷移學習的思路，即從相關領域中遷移標注數據或者知識結構對目標領域或任務進行實現或改進。此外，在實際中由于采集環境和設備、對話情景和主題等不同，訓練集和測試集中的情感數據往往差異很大，所以進行跨語料庫的情感識別更加貼近于真實生活和應用場景。但跨語料庫情感識別的難點在于如何提取合適的情感特征并通過不斷縮小源任務和目標任務之間的特征差異來完成知識遷移。

《基于神經網絡和遷移學習的多模態情感識別方法、系統》(專利號：CN201710698379.1)該方法基于大規模數據訓練深度神經網絡并通過遷移學習獲取音頻特征提取器、視頻特征提取器，進而對多模態情感數據進行音頻特征視頻特征的提取，從而識別各語音情感類別的概率、各視頻情感類別的概率，并通概率值判斷最終情感類別。

《一種基于增強式深度殘差神經網絡的多模態語音情感識別方法》(專利號：CN201811346114.6)，該方法提取視頻(序列數據)與語音的特征表達，包括將語音數據轉換為相應的語譜圖表達，以及對時序數據進行編碼:使用卷積神經網絡提取原始數據的情感特征表達用于分類，模型接受多輸入并且輸入維度不等，提出交叉卷積層對不同模態的數據特征進行融合,模型使用的整體網絡結構是增強式深度殘差神經網絡：模型初始化后，使用語音語譜圖、序列視頻信息及相應的情感標簽訓練多分類模型，訓練完畢后對末標記的語音和視頻進行預測，得到情感預測的概率值，選擇概率最大值作為該多模態數據的情感類別。

《一種基于情景感知的多模態抑郁癥檢測方法和系統》(專利號：201911198356.X)該方法包括：構建訓練樣本集，所述訓練樣本集包括話題信息、語譜圖和對應的文本信息:使用卷積神經網絡，結合多任務學習，對所述訓練樣本集的語譜圖進行聲學特征提取，獲得具備情景感知的聲學特征；利用所述訓練樣木集，使用Transformer模型對詞嵌入進行處理，提取具備情景感知的文本特征；對于所述情景感知的聲學特征建立進行抑郁癥檢測的聲學通道子系統，對于所述情景感知的文本特征建立進行抑郁癥檢測的文本通道子系統，對所述聲學通道子系統和所述文本通道子系統的輸出進行融合,獲得抑郁癥分類信息。

考慮到實際交談場景中說話人目標語句的情感狀態往往還會受到上下文語句的影響。本發明在選取特征進行遷移時，除了傳統的情感特征，也將上下文中有關于情感的動態變化進行特征提取并進行遷移。在遷移過程中，使用注意力遷移機制使得目標任務的特征圖(feature map)與源任務的特征圖(feature map)盡可能相似進而完成知識遷移。

發明內容