[發明專利]一種基于注意力機制的圖文情感識別方法

在審

• 申請號: 202110992751.6
• 申請日: 2021-08-27
• 公開（公告）號: CN113822340A
• 公開（公告）日: 2021-12-21
• 發明（設計）人: 劉博;徐毓笑
• 申請（專利權）人: 北京工業大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/08;G06F16/33
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 沈波

本發明公開了一種基于注意力機制的圖文情感識別方法，通過引入近年來火熱的注意力機制更好的挖掘模態內部信息以及學習模態之間的交互作用，針對各模態對于情感分類貢獻度不同的問題設計決策級融合規則將各個模態的分類結果進行整合，得到最終的情感識別結果。采用決策級的融合方式，設計融合規則將各個分類器的分類概率進行整合，提高最終的情感識別準確率。上述提出的針對圖文評論情感識別的方法，在多模態特征提取和特征融合等方面都進行了有益的補充和優化，有效的挖掘了模態內部信息和構建了模態間的交互作用，提升了圖文情感識別的準確率。

技術領域

本發明屬于計算機視覺、自然語言處理領域，主要用于對互聯網社交媒體上的圖文評論進行情感識別。

背景技術

隨著社交媒體的快速發展，現如今用戶傾向于在推特、臉書和新浪微博等社交媒體平臺上表達意見和分享經驗，這些用戶發布的內容正在朝著內容和形式多樣化的方向發展，與常規的純文本評論不同，用戶越來越多的為文字評論配圖，傳統的基于文本的情感分析已經演變為多模態情感分析，旨在自動的識別出評論中的基本態度，提取用戶的情感和理解用戶的行為，在實際生活中有著重要的應用意義。

在多模態情感分析中如何有效利用圖文評論中的視覺內容和文本內容中的信息一直是一個具有挑戰性的問題，與單一模態的情感分析相比，多模態情感分析方法應該有效的融合不同模態之間的信息。目前多模態情感分析存在三個難題，一是無法充分提取出各個模態內部的信息，圖片的底層特征和中層特征往往不能抽象出圖片的情感，評論文本具有隨意性、簡短性等特點，傳統的文本表示方法無法有效的挖掘重要的語義信息，二是需要有效的融合各個模態的信息，互為補充的同時去除冗余信息，三是各個模態對于情感分類的貢獻度不同，如何分配各模態所占的權重也是個難題。

注意力機制模擬人眼聚焦的能力，關注更重要更有價值的信息，引入注意力機制能夠在同一模態內部針對不同維度的信息分配合理的權重，從而準確處理上下文信息，也能夠對不同模態進行權重分配解決圖片和文本對于情感分類貢獻并非等價的問題。現有的多模態特征融合方法主要可以分為數據層融合、特征級融合和決策級融合。數據層融合是將收集到不同的數據集通過某種規則將其統一在一起，變成一個整體的數據集，實現起來復雜且得到的數據往往包含太多的冗余信息。特征級融合是指對各個模態的信息進行特征提取后構建成聯合向量再輸入到分類器中進行情感分類，常用的方法是拼接、按位加、按位乘。決策級融合是指分別構建每個模態的分類器，將得到的分類結果按照一定的規則進行整合，從而得到最終的情感識別結果，常用的方法有最大值融合、平均值融合、貝葉斯融合以及集成學習等。決策級融合相對來說更加簡單，決策融合公式設計得當可以得到可觀的識別準確率。

發明內容

本發明針對互聯網社交媒體上的網絡評論提出了一種基于注意力機制的圖文情感識別方法，通過引入近年來火熱的注意力機制更好的挖掘模態內部信息以及學習模態之間的交互作用，針對各模態對于情感分類貢獻度不同的問題設計決策級融合規則將各個模態的分類結果進行整合，得到最終的情感識別結果。

通過引入自注意力機制更好的挖掘模態內部的情感信息以及引入交叉注意力機制構建不同模態之間的交互作用。這樣做的依據在于注意力機制能夠使得模型在重點關注的部分，投入更多的注意力資源，以獲取更多的細節信息，同時減弱對其他相對不重要的部分的關注，從大量信息中獲取更高價值的信息，提高了模型處理的效能。在圖文評論情感識別任務中，經過初步的特征提取得到文本特征和圖片特征，由于各個模態的信息之間存在著一定聯系，通過加入跨模態編碼層，將圖片和文本分別作為對方的輔助信息，可以從各個模態的對齊元素中推斷被掩蓋的特征，發現并構建各模態之間的關系，使得不同模態的信息可以相互作用，將通過交叉注意力機制得到的文本特征、圖片特征以及多模態特征分別輸入到自編碼層中，通過自注意力機制進行進一步的特征選擇。利用精心設計和結合這些自注意力層和交叉注意層，本方法能夠從輸入數據中提取高質量的文本特征、圖像特征和多模態特征。