[發明專利]一種基于多模態特征融合的社交媒體情感分析方法及系統

有效

• 申請號: 202011390807.2
• 申請日: 2020-12-02
• 公開（公告）號: CN112508077B
• 公開（公告）日: 2023-01-03
• 發明（設計）人: 耿玉水;張康;趙晶;劉建鑫;李文驍
• 申請（專利權）人: 齊魯工業大學
• 主分類號: G06F18/25
• 分類號: G06F18/25;G06N3/0464;G06N3/048;G06N3/08;G06V10/80;G06V10/764;G06V10/82
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 董雪

本公開公開的一種基于多模態特征融合的社交媒體情感分析方法及系統，包括：獲取待識別的圖文數據；從待識別的圖文數據中提取文本特征；從待識別的圖文數據中提取圖像特征；將文本特征和圖像特征進行跨模態融合，獲取文本融合特征和圖像融合特征；根據文本融合特征和圖像融合特征進行情感分類識別。將提出的文本特征和圖像特征進行跨模態融合，獲取了文本融合特征和圖像融合特征，通過兩個融合特征進行情感識別，提高情感識別的準確率。

技術領域

本發明涉及情感分類技術領域，尤其涉及一種基于多模態特征融合的社交媒體情感分析方法及系統。

背景技術

本部分的陳述僅僅是提供了與本公開相關的背景技術信息，不必然構成在先技術。

近年來，隨著計算機技術的不斷發展，加上機器學習的助力，各種各樣的智能設備開始出現在日常工作以及生活中，為人們帶來了極大的便利，促進了社會的發展。但是這些智能設備大多數還停留在執行簡單的具有規律性的任務上面，如何讓機器變得更加智能，如何更好地實現人機交互成為新階段的研究熱點。其中關于情感分析的研究引起了研究人員的廣泛關注，越來越多的學者投身于相關研究中。情感分析，就是賦予機器識別使用者情感的能力，同時可以在此基礎上讓機器給出相應的回應，賦予機器“思考”的能力。情感分析融合了數字圖像處理、語音信號處理、模式識別、心理學等多種學科，是人機交互的重要分支，可以應用于教育、醫療、交通等各個領域。例如，在車載系統中，利用情感分析對駕駛者的狀態進行監控，判斷其是否處于安全狀態，從而能在發現駕駛人員狀態不佳時予以提醒，避免交通事故的發生；在服務行業中，通過情感分析對用戶的情感狀態進行監控，及時對情緒不滿的用戶提供更佳周到的服務，優化用戶體驗，提高整個服務水平；在智能機器人研究中，情感分析可以幫助機器人更好地理解人類的感情，做出友好且智能的回應。

隨著社交媒體的日益流行，越來越多的人們熱衷于在社交媒體上表達自己的看法或觀點。在社交媒體上每天都會有數以億計的數據記錄產生，這其中的大量數據是以文本和圖像聯合的形式出現，這就構成了海量的多模態數據。海量的多模態數據中蘊含著豐富的情感信息，對多模態數據進行情感分析有利于了解人們對某些事件的態度和看法。在社交媒體的圖文數據中，文本和圖像都分別包含了各自的情感信息，它們彼此不同而又相輔相成。

情感分析的實質就是在上述情感載體中提取出特征，并找出其中隱藏的情感信息。當前很多情感分析的方法都只依賴于單一載體傳遞的信息，這種識別情感的方式稱為單模態情感分析，然而這種情感分析往往是片面的，主要原因在于人類情感表達方式的多樣性。單個模態傳遞的信息缺乏完整性，相比文本或圖像的單模態數據，多模態數據包含的信息更豐富，能更好地展現和揭示用戶的真實情感，成熟的情感分析需要各個模態之間的相互融合。另外，以往的情感分析研究中對于單模態文本情感分析主要是運用傳統的統計方法，這些方法非常依賴所提取特征的質量。對于單模態圖像的情感分析，主要采用人工設計特征提取器，再對提取的特征進行二次篩選的特征提取方法，這些特征中往往包含著冗余的情感信息。以往的方法大多不能有效地利用文本和圖像模態的內部信息和模態之間的交互作用信息，實現起來比較繁瑣而且效率往往較低。

發明內容

本公開為了解決上述問題，提出了一種基于多模態特征融合的社交媒體情感分析方法及系統，將提出的文本特征和圖像特征進行跨模態融合，獲取了文本融合特征和圖像融合特征，通過兩個融合特征進行情感識別，提高情感識別的準確率。

為實現上述目的，本公開采用如下技術方案：

第一方面，一種基于多模態特征融合的社交媒體情感分析方法，包括：

獲取待識別的圖文數據；

從待識別的圖文數據中提取文本特征；

從待識別的圖文數據中提取圖像特征；

將文本特征和圖像特征進行跨模態融合，獲取文本融合特征和圖像融合特征；

根據文本融合特征和圖像融合特征進行情感分類識別。