[發明專利]一種基于弱監督多模態深度學習的微博情感預測方法

在審

• 申請號: 201711493988.X
• 申請日: 2017-12-31
• 公開（公告）號: CN108108849A
• 公開（公告）日: 2018-06-01
• 發明（設計）人: 紀榮嶸;陳福海
• 申請（專利權）人: 廈門大學
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06Q50/00;G06F17/30;G06F17/27;G06N3/04
• 代理公司: 廈門南強之路專利事務所(普通合伙) 35200
• 代理人: 馬應森

一種基于弱監督多模態深度學習的微博情感預測方法，涉及多模態情感分析領域。包括以下步驟：微博多模態數據預處理；多模態深度學習模型的弱監督訓練；多模態深度學習模型的微博情感預測。解決了在微博多通道內容上的情感預測中存在的多模態判別表示和數據標簽受限等問題，實現最終多模態的情感類別預測，實驗評價標準為準確度，反映了預測的微博情感極性類別與事先標注的情感類別之間的一致程度。在性能上有較大的提升，考慮到多模態之間的關聯性，因此在整體的多模態性能上取得最優的效果。在不同情感類別上都取得較為理想的分類效果。經過弱監督訓練，使得文本和圖像模態的初始模型在情感分類上效果有明顯的提升。

技術領域

本發明涉及多模態情感分析領域，尤其是涉及一種基于弱監督多模態深度學習的微博情感預測方法。

背景技術

近來，隨著新浪微博等大型社交平臺的迅速發展，每天社交網絡的多媒體數據規模不斷增長，以新浪微博為例，截止2016年3月，新浪微博月活躍用戶達到2.6億。作為最受歡迎的平臺之一，新浪微博使得互聯網用戶能夠在他們感興趣的話題下表達他們的情感。因此，它吸引了大量的關于情感信息挖掘的研究，這些研究涉及一些新興的應用包括事件檢測、社交網絡分析和商業推薦。

微博發展的一個明顯特征在于多模態信息的增長，比如圖像、視頻、短文本以及豐富的表情符號。認知方面的研究也揭示不同的模態有它們特有的特征(如在符號學方面，語義層面，和認知層面)。這啟發我們從多模態層面分析微博的情感。然而，預測多模態微博情感的依然是一個未解決的問題。關鍵的挑戰有兩個方面，一方面在于跨多個模態的判別表示的學習，另一方面在于情感分析受限于足夠樣本標簽數據的獲取。

當前，微博情感分析方法主要利用純文本通道信息，比如《一種基于大規模語料特征學習的微博情感分析方法(中國專利CN201510310710.9)》、《基于規則和統計模型的中文微博情感分析方法(中國專利CN201510127310.4)》、《一種融合顯性和隱性特征的中文微博情感分析方法(中國專利CN201410723617.6)》、《一種中文微博的情感傾向分析方法(中國專利CN201310072472.3)》、《基于卷積神經網絡的中文微博文本情緒分類方法及其系統(中國專利CN201710046072.3)》。然而，由于微博文本具有結構隨意，內容較少等特點，單從簡單的純文本通道進行微博情感類別分析難度大，情感預測的準確度低。《一種面向微博短文本的情感分析方法(中國專利CN201210088366.X)》提出一種短文本情感分析方法，但是其面向特定領域和特定主題，不具有普適性。《一種利用表情符號對微博進行情感傾向分類的方法(中國專利CN201310664725.6)》提出基于表情符號詞典使用樸素貝葉斯方法構建中性情感分類器和極性情感分類器的方法進行微博情感分類，然而含有表情符號的微博僅占32％，利用表情符號單一通道進行微博情感預測難以適用于所有微博。《基于表情分析和深度學習的社交網絡情感分析方法(中國專利CN201611035151.6)》提出一種利用表情符號作為標簽數據進行監督學習的微博情感預測方法，然而由于表情符號在情感分類中存在精度偏差，最終訓練到的模型在情感分類效果上并不理想。同時由于該方法無法挖掘到文本、表情和情感標簽之間的內在關聯，因此很難學到具有判別性的多模態的表示。《一種基于微博群環境的微博多模態情感分析方法(中國專利CN201410006867.8)》提出的多模態情感分析方法還是基于單一文本通道上的微博原文本和評論文本。《一種基于情感極性感知算法的跨媒體微博輿情分析方法(中國專利CN201611128106.5)》和《一種基于多模態超圖學習的微博情感預測方法(中國專利CN201611128388.9)》提出了多模態的情感預測方法，然而這些方法都受限于足夠的樣本標簽數據的獲取，訓練到的模型在情感分類效果上并不理想。