[發明專利]一種基于情感屬性挖掘的圖像情感分析方法

在審

• 申請號: 202111395864.4
• 申請日: 2021-11-23
• 公開（公告）號: CN114201960A
• 公開（公告）日: 2022-03-18
• 發明（設計）人: 朱永華;高文靖;朱蘊文;陳可茜
• 申請（專利權）人: 上海大學
• 主分類號: G06F40/247
• 分類號: G06F40/247;G06F40/30;G06N3/04;G06N3/08
• 代理公司: 上海上大專利事務所(普通合伙) 31205
• 代理人: 何文欣

本發明屬于圖像內容分析領域，公開了一種基于情感屬性挖掘的圖像情感分析方法，利用用戶元數據信息挖掘，構建語義覆蓋面大、情感可判別能力強的情感屬性子集，并采用融合神經網絡和矩陣分解模型預測標簽矩陣，提升圖像情感分析結果的準確性與穩定性。根據用戶標簽元信息和情感屬性的特點，融合四種情感屬性特性并優化概念選擇模型完成情感屬性子集選擇；利用卷積神經網絡提取視覺特征并通過視覺內容一致性優化；構建引入外界知識庫指導的鄰接圖并通過語義關聯性優化；將圖像視覺特征和標簽語義特征映射到潛在共享空間中，實現預測標簽矩陣的重構；最后，利用訓練好的重構模型來重構預測標簽矩陣，并使用線性分類器進行最終的情感識別。

技術領域

本發明涉及圖像內容分析領域，尤其涉及一種基于情感屬性挖掘的圖像情感分析方法。

背景技術

情感一直以來都是人們適應生存的心理工具，隨著信息科學技術與數字媒體科技的蓬勃發展，每天有數以萬計的電子信息數據在互聯網上傳播，越來越多的人會在互聯網上通過各種形式表達個人意見與情感傾向，圖像逐漸成為互聯網用戶進行自我情感表達的重要媒介。對圖像內容進行分析使抽象的事物具象化，這不僅能作為以用戶情感為導向的圖像檢索和推薦系統的輔助動力；還可以結合大數據與反饋機制，為產品設計在作品創作方面提供輔助決策的方案；更能進行自動化的具體實時的輿情分析以及自動甄別有問題的信息。因此，如何進行圖像情感分析已在近年來成為學術界和工業界共同關注的研究熱點問題。

雖然目前圖像情感識別研究的成果頗為豐富，但仍存在不少技術上的弊端：

其一，多數研究采用經驗學習方法，需要大量的、多樣的訓練數據，存在效率低、過程不可解釋、小規模任務上效果差等問題；其二，缺少能夠有效地減小圖像特征與情感語義之間語義鴻溝的中層語義表示，難以處理圖像情感語義映射關系之間的復雜性，在細粒度層次的情感識別任務上表現并不優越；其三，多數研究使用監督學習的方法，需要手動對數據進行標注，數據集獲取的工程量巨大；其四，使用互聯網用戶圖像及用戶標簽的研究中，用戶提供的標簽信息通常不能滿足對視覺內容描述的高質量標準，存在一定的錯誤和缺失。

發明內容

針對現有圖像情感內容分析技術上存在的上述缺陷，本發明提出一種基于情感屬性挖掘的圖像情感分析方法。該方法定義情感屬性為一組在圖像情感傳遞中有貢獻作用的視覺概念，利用用戶元數據信息挖掘，構建了一個概念選擇模型，通過帶約束的二次線性優化方法實現從用戶生成的標簽集合中選擇情感屬性，進一步采用融合神經網絡獲取視覺因子矩陣和語義因子矩陣，結合矩陣分解模型構建潛在共享空間，從而重構預測標簽矩陣，該方法能夠有效提升圖像情感分析結果的準確性與穩定性。

為達到上述目標，本發明采用如下技術方案：

一種基于情感屬性挖掘的圖像情感分析方法，包括以下步驟：

步驟1：根據用戶標簽和情感屬性的特點，構建一個融合了四種情感屬性特性的概念選擇模型，訓練該模型完成情感屬性子集選擇。

步驟2：利用卷積神經網絡提取視覺特征，通過轉換矩陣映射到潛在共享空間獲取了視覺因子矩陣，并通過視覺內容一致性進行了優化。

步驟3：構建引入外界知識庫指導的鄰接圖，利用圖卷積網絡獲取了語義因子矩陣，并通過語義關聯性進行了優化。

步驟4：通過非線性度量方式探索視覺因子矩陣與語義因子矩陣之間的相關性，構建預測標簽矩陣的重構模型并訓練該模型。

步驟5：采用訓練好的重構模型來進行預測標簽矩陣的重構，并使用線性分類器進行最終的情感識別。

優選地，所述步驟1中構建融合了四種情感屬性特性的概念選擇模型并獲得情感屬性子集的方法，定義情感屬性為一組在圖像認知層語義部分對情感傳遞有明顯貢獻的視覺語義概念，四種情感屬性特性為語義可建模性、情感可判別性、語義覆蓋性和有限性，其具體定義和計算方式為：