[發明專利]一種基于情感屬性挖掘的圖像情感分析方法

在審

• 申請號: 202111395864.4
• 申請日: 2021-11-23
• 公開（公告）號: CN114201960A
• 公開（公告）日: 2022-03-18
• 發明（設計）人: 朱永華;高文靖;朱蘊文;陳可茜
• 申請（專利權）人: 上海大學
• 主分類號: G06F40/247
• 分類號: G06F40/247;G06F40/30;G06N3/04;G06N3/08
• 代理公司: 上海上大專利事務所(普通合伙) 31205
• 代理人: 何文欣

1.一種基于情感屬性挖掘的圖像情感分析方法，利用用戶元數據信息挖掘構建了一個概念選擇模型實現情感屬性的選擇，進一步提出融合神經網絡與矩陣分解模型實現基于用戶標注的圖像標簽預測，其特征在于，操作步驟如下：

步驟1：根據用戶標簽和情感屬性的特點，構建一個融合了四種情感屬性特性的概念選擇模型，訓練該模型完成情感屬性子集選擇；

步驟2：利用卷積神經網絡提取視覺特征，通過轉換矩陣映射到潛在共享空間獲取了視覺因子矩陣，并通過視覺內容一致性進行了優化；

步驟3：構建引入外界知識庫指導的鄰接圖，利用圖卷積網絡獲取了語義因子矩陣，并通過語義關聯性進行了優化；

步驟4：通過非線性度量方式探索視覺因子矩陣與語義因子矩陣之間的相關性，構建預測標簽矩陣的重構模型；

步驟5：采用訓練好的重構模型來進行預測標簽矩陣的重構，并使用線性分類器進行最終的情感識別。

2.根據權利要求1所述的一種基于情感屬性挖掘的圖像情感分析方法，其特征在于，所述步驟1中構建融合了四種情感屬性特性的概念選擇模型并獲得情感屬性子集的方法，定義情感屬性為一組在圖像認知層語義部分對情感傳遞有明顯貢獻的視覺語義概念，四種情感屬性特性為語義可建模性、情感可判別性、語義覆蓋性和有限性，其具體定義和計算方式為∶

1)語義可建模性，利用信息熵的計算方式，將簇內差異性作為每個簇的概率權重，加以簇間差異性對概念的圖像簇信息熵進行放大，計算語義可建模性，具體計算規則如下：

其中，ic_k為概念c的第k個圖像簇，p(ic_k)為簇內圖像數量與整個代表圖像數量之比，intra_ds(IC)為簇內差異，inter_ds(IC)為簇間差異；

2)情感可判別性，利用貝葉斯定理分析每個概念與情感之間的關系，獲得概念在每類情感圖像中的分布，計算情感可判別性，具體計算規則如下：

其中，p(c|e)為情感類別e下概念c的條件概率，p(e)為情感類別的先驗概率，通過所屬類別e的圖像個數和總圖像數量之比計算，p(e|c)為概念c對情感e的區分能力；

3)語義覆蓋性，基于互信息計算語義覆蓋性，具體計算規則如下：

其中c_i和c_j分別為概念空間和所選情感屬性集合的第i和第j個概念；

4)有限性，通過集合大小的倒數計算有限性，具體計算規則如下：

5)把目標函數轉化成帶有約束項的最大優化問題，并通過矩陣形式變形成二次規劃問題，其主要計算規則如下：

min_ss^TAs，s.t.0≤s≤1，1^Ts＝m

其中，U_s為對角矩陣，其元素u_ii＝SM(c_i)，W_s為對角矩陣，其元素w_ii＝DE(c_i)，V_s為對稱矩陣，其元素v_ij＝SC(c_i,c_j)，s_i∈{1,0}表示概念c_i是否被選擇作為情感屬性進入Θ，A＝-{αU_s+βW_s+(1-α-β)(D^V-V_s)}，D^V為對角矩陣，其元素1為全1向量，α，β為分配權重。

3.根據權利要求1所述的一種基于情感屬性挖掘的圖像情感分析方法，其特征在于，所述步驟2中的基于卷積神經網絡的視覺因子矩陣學習方法，基于K最近鄰方法，構造視覺相似圖Q^U，并基于局部幾何結構約束了視覺內容，其主要計算規則如下：

其中，σ為帶寬參數，為一個對角矩陣，為視覺內容一致性約束項。