[發明專利]基于多元素分層深度融合的輕量級多模態情感分析方法

在審

• 申請號: 202011452285.4
• 申請日: 2020-12-10
• 公開（公告）號: CN112541541A
• 公開（公告）日: 2021-03-23
• 發明（設計）人: 李康;孔萬增;金宣妤;唐佳佳
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F17/16;G06F40/253;G06N3/04;G06N3/08
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱亞冠

本發明公開了基于多元素分層深度融合的輕量級多模態情感分析方法；本發明以分層的方式建立多模態元素之間的直接相關性，可以捕獲不同模態之間的短時和長時依賴性。為避免降低分辨率并保留與每個模態相對應的原始空間結構信息，在選擇和強調多模態信息交互時，本發明以廣播的形式應用相應的注意力權重。此外，本發明也提出了一個新的張量算子，稱為Ex?KR加法，以利用共享信息來融合多模態元素信息得到全局張量表征。這是針對當前多模態情感識別領域中大多數方法僅僅關注在局部的時序?多模態空間中的建模，并且不能明確地學習得到所有參與模態融合的完整的表示形式等問題的有效補充。

技術領域

本發明屬于自然語言處理、計算機視覺、語音信號處理交叉融合的多模態情感分析領域，具體涉及一種基于跨模態的多元素分層深度融合技術，通過對框架中低層模態間共有信息的利用實現高層的多模態元素融合，進而可以根據跨模態跨時序的張量表征對被試的情緒狀態進行分析。

背景技術

隨著機器學習研究的最新進展，多模態時序數據的分析已成為一個日益重要的研究領域。多模態學習旨在構建可以處理和整合來自多種模態的信息的神經網絡，多模態情感分析便是多模態學習的一個研究子領域。當人們在現實生活中表達自己的情感(消極情感或者是積極情感)時，各種不同類別的信息會參與這種交流活動之中，包括言語(文本模態)，面部表情和手勢(視覺形式模態)，聲音的韻律特征(聲學模態)。視頻是多模態數據的重要來源，可以同時提供視覺，聲學和文本三種類型的數據。為了統一表示和便于理解，我們將言語中的每個詞稱為文本元素，將視頻中的每個幀稱為視覺元素，將每個詞對應的韻律特征稱為聲學元素。通過對三種模態數據的研究，我們發現其中同時存在著兩種類型的元素交互(模態內元素交互和模態間元素交互)。而且隨著時間的流逝，模態間的元素交互在時域和多模態數據之間提供了更為復雜的互補信息。在分析時如果考慮到多模態數據之間的互補信息，我們可以更可靠，更準確地分析一個人的情緒狀態。

但是，多模態數據的異構屬性，例如元素之間的適當對齊，不同模態之間的短時依賴和長時依賴關系，是多模態數據之間的重要互補信息，也是研究人員在對跨模態信息進行分析時必須面對的主要挑戰。現有的多模態融合方法通常集中在局部的時序-多模態空間中的建模，并且不能明確地學習得到所有參與融合的模態的完整的多維表示形式。例如，一些方法將三種模態的時間序列數據壓縮為三個向量以進行后續的多模態融合，使得后續的步驟無法感知到關鍵的跨模態時序信息。現有的方法也試圖從源模態轉換為目標模態以學習兩種模態的聯合表示。然而，這種“翻譯方法”主要在兩種模態之間實現且必須包括兩個方向的“翻譯”，使得聯合表示具有強烈的局部特征而缺乏了重要的全局的多模態特性。

發明內容

本發明針對現有技術的不足，基于多元素分層深度融合技術，引入了一個輕量級多模態融合方法。該方法通過兩種不同類型的匹配機制將局部關聯傳輸并整合到公共全局空間中。在多模態元素匹配融合時，我們提出了一種新的不包含額外參數的張量算子，Ex-KR加法，該算子可以通過使用特定模態的共有信息將局部矩陣表示結合得到全局張量，從而可以達到更輕量的多模態數據建模。

本發明的具體步驟如下：

步驟1、采集被測對象的n個模態的數據，并將各模態數據均轉換為矩陣形式；n≥3。

步驟2、對各模態數據進行交互建模，得到各模態數據包含上下文信息的矩陣。

步驟3、取其中一個模態的矩陣作為中心矩陣；將其余n-1個模態矩陣分別與中心矩陣進行元素交互匹配，得到n-1個匹配矩陣；

步驟4、生成步驟3所得的n-1個匹配矩陣的權重向量。

步驟5、利用步驟4所得的n-1個權重向量分別更新n-1個匹配矩陣。

步驟6、利用n-1個匹配矩陣進行多模態元素匹配，得到n維的張量P。