[發明專利]基于多模信息智能處理單元的多模信息融合情感分析方法

在審

• 申請號: 202011440100.8
• 申請日: 2020-12-11
• 公開（公告）號: CN112418172A
• 公開（公告）日: 2021-02-26
• 發明（設計）人: 毛史清
• 申請（專利權）人: 蘇州元啟創人工智能科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06F40/30;G10L25/63
• 代理公司: 蘇州創元專利商標事務所有限公司 32103
• 代理人: 范晴

本發明公開了基于多模信息智能處理單元的多模信息融合情感分析方法，基于實現多模態融合的情感分析任務的目的，準備數據集；對數據集預處理，并設置一般性前提，分別基于視覺信息、音頻信息文本信息提取情感特征；融合多模情感特征；構建實時情感分析框架，獲得連續語音段的文本內容，并允許上傳和接收情感視頻，然后顯示每個視頻的情感表達，并作出最終的情感判定。本發明公開的多模信息智能處理單元通過將視頻、音頻和文本三個通道的特征整體提取，以增強情感特征提取的強度，并進一步通過多模信息融合處理進行最終的情感分析。在使用ISEAR、CK++、eNTERFACE等數據集的實驗中，本發明公開的方法參數量適中，準確率較高，擁有良好的性能。

技術領域

本發明屬于情感分析領域，涉及一種基于多模信息智能處理單元的多模信息融合情感分析方法。

背景技術

情感在人們的日常生活中起著至關重要的作用，它有助于決策、學習、交流和以人為中心的環境中的情景意識。在過去二十多年的時間里，人工智能研究人員一直試圖賦予機器識別、解釋和表達情感的能力，實際上這就是業界常說的情感計算，是一個融合了計算機視覺、自然語言處理、音頻處理、心理學和思維科學的跨學科研究領域。

情感計算和情感分析越來越成為社交媒體運營的一個重要技術趨勢，這能幫助產品開發人員更好地理解用戶的情感和實際需求，從而能夠更好地優化產品。隨著互聯網技術的快速發展和包括微博在內的社交媒體的快速崛起，用戶開始越來越頻繁地在各個社交媒體發布包含視頻、音頻和文本等信息的動態。同樣地，在各個電子商務平臺，消費者也通過包含多模信息的評論來對商品有更深入的了解，比較商品之間的差異。除了上述兩點，情感計算在智能設備和人才評估等領域有著廣泛且重要的應用。

融合了視頻、音頻等信息的情感分析方法比僅依賴文本分析的情感分析方法能獲得更多的情感特征和分析線索。文本分析僅能通過單詞、短語和它們之間的依賴關系來分析和判定情感，這種方式有很大的局限性，因為人的情感是復雜的。而視頻和音頻提供了更多可用于情感計算的信息和特征，如表情、神態、聲音的響度和頻率等，這些都是情感分析的重要依據。因此，將視頻、音頻、文本等信息融合處理可以幫助構建一個更好的情感分析方法。

特征提取和特征融合都是多模態情感分析的關鍵，現有的多模情感分析方法可分為兩大類：從單一模式中提取特征的方法，以及從不同模式中融合特征的方法。

在利用視覺信息方面，已有的方法表明，通用的面部表情為檢測情緒提供了足夠的線索，這類方法往往把憤怒、悲傷、驚訝、恐懼、厭惡和喜悅作為六個基本的情感類別。這種基本的情感類別足以較為全面地描述通過面部表情表現出的大部分情感。然而，這類方法忽略了尊重、敬畏等其他常見情感，所以又有研究者將蔑視作為第七種基本情感。情感面部動作編碼系統EFACS是這類方法的常用基準框架，利用這類框架的方法有主動外觀模型和基于光流的技術等，然而這類方法都使用不同的手工構建的語料庫和數據集，無法找到有效的方法評估它們的性能。

在利用音頻信息方面，已有的方法基于幾個聲學特征，如頻率、振幅、周期等，都取得了一定的成果。然而，在許多處理大量用戶數據的應用中，單純依賴音頻的幾個特征是不可行的。隨后有研究人員從語音中提取了五個韻律特征，并結合多層神經網絡進行情感分析，結果表明該方法更容易識別出悲傷和憤怒，而對喜悅和恐懼的識別效果并不是很好。

在利用文本信息方面，這是自然語言處理領域的一個快速發展的方向，近年來越來越受到研究界和工業界的關注。情感分析工具將幫助公司更加了解用戶對產品的感受，在其他領域也有廣泛的應用。已有的許多方法旨在識別單詞、短語、句子、文檔中的積極、中立或消極情緒。到目前為止，基于文本的情感分析方法主要依賴基于規則的技術，使用大型情感詞匯表進行詞袋的建模，或構建包含大量標簽的數據集，再通過有監督或無監督的分類器來進行識別。