[發明專利]一種基于層次注意力機制的社交圖像推薦方法

在審

• 申請號: 201811200827.1
• 申請日: 2018-10-16
• 公開（公告）號: CN109410080A
• 公開（公告）日: 2019-03-01
• 發明（設計）人: 吳樂;陳雷;汪萌;洪日昌;楊永暉
• 申請（專利權）人: 合肥工業大學
• 主分類號: G06Q50/00
• 分類號: G06Q50/00;G06N3/04;G06F16/9535
• 代理公司: 安徽省合肥新安專利代理有限責任公司 34101
• 代理人: 陸麗莉;何梅生

1.一種基于層次注意力機制的社交圖像推薦方法，其特征是按如下步驟進行：

步驟1、構造異構數據，包括：用戶對圖像的評分矩陣R、用戶對圖像的上傳信息矩陣L、用戶與用戶之間的社交關系矩陣S：

令U表示用戶集，且U＝{u₁,...,u_a,...,u_b,...,u_M}，u_a表示第a個用戶，u_b表示第b個用戶，M表示用戶總數，1≤a,b≤M；令V表示圖像集，且V＝{v₁,...,v_i,...,v_j,...,v_N}，v_i表示第i個圖像，v_j表示第j個圖像，N表示圖像總數，1≤i,j≤N；令R_ai表示第a個用戶u_a對第i個圖像v_i的評分值，則用戶對圖像的評分矩陣R＝{R_ai}_M×N；令L_ai表示第a個用戶u_a對第i個圖像v_i的上傳信息，則用戶對圖像的上傳信息矩陣L＝{L_ai}_M×N；令S_ab表示第a個用戶u_a對第b個用戶的u_b的社交關系，則用戶與用戶之間的社交關系矩陣S＝{S_ab}_M×M；

步驟2、對所述異構數據和圖像集V處理得到社交嵌入矩陣E、內容嵌入矩陣F^c和風格嵌入矩陣F^s：

步驟2.1、通過隨機游走算法對社交關系矩陣S進行處理，得到社交嵌入矩陣E；

步驟2.2、通過深度卷積神經網絡模型VGG提取圖像的視覺特征：

選取所述深度卷積神經網絡模型VGG的最后一個全連接層的輸出Fc作為第i個圖像v_i的內容嵌入向量F_i^c，從而得到全部圖像的內容嵌入矩陣F^c；

假設第m個卷積層有N_m個濾波器，每個濾波器大小為M_m，則所述深度卷積神經網絡模型VGG的第m個卷積層特征的Gram矩陣

利用式(1)計算第m個卷積層第p個濾波器和第q個濾波器之間特征映射關系

式(1)中，表示第m個卷積層第p個濾波器第k個位置的激勵值，表示第m個卷積層第q個濾波器第k個位置的激勵值，1≤p,q≤N_m，1≤k≤M_m；

利用式(2)得到第i個圖像的風格嵌入向量F_i^s，從而得到全部圖像的風格嵌入矩陣F^s：

F_i^s＝[v(G¹),...,v(G^l),...,v(G⁵)] (2)

式(2)中，v(G^m)表示第m個卷積層特征的Gram矩陣G^l的矢量化；

步驟3、將社交嵌入矩陣E、內容嵌入矩陣F^c和風格嵌入矩陣F^s輸入到底層注意力網絡中得到影響用戶對圖片選擇的三個方面的社交語義信息：

步驟3.1、計算用戶的上傳一致性

步驟3.1.1、令L_a表示第a個用戶u_a上傳的圖像集，則利用式(3)得到第j個圖像v_j在計算第a個用戶u_a的上傳一致性時所占的權值α_aj：

式(3)中，σ(·)表示sigmoid函數；P_a和Q_a分別是第a個用戶u_a的基礎特征向量和輔助特征向量，W_j和X_j分別是第j個圖像v_j的基礎特征向量和輔助特征向量；E_a是第a個用戶u_a的社交嵌入向量；和分別是第j個圖像v_j的內容嵌入向量和風格嵌入向量；θ_u＝[w₂,W₁,W_c,W_s]是第一底層注意力網絡BotNet1的參數，其中w₂是第一個sigmoid函數的參數，W₁是第一個矩陣參數，W_c是對內容嵌入矩陣F^c進行降維的參數，W_s是對風格嵌入矩陣F^s進行降維的參數；是第a個用戶u_a喜歡的圖像內容嵌入矩陣，并通過式(4)獲得；是第a個用戶u_a喜歡的圖像風格嵌入矩陣，并通過式(5)獲得；

步驟3.1.2、對所述第j張圖像v_j在計算第a個用戶u_a的上傳一致性時所占的權值α_aj進行歸一化處理，通過式(6)得到歸一化后的權值

步驟3.1.3、利用式(7)得到第a個用戶u_a的上傳一致性

步驟3.2、計算第a個用戶u_a的社交影響力

步驟3.2.1、令S_a表示與第a個用戶u_a有社交關系的用戶集，則利用式(8)得到第b個用戶u_b在計算第a個用戶u_a的社交影響力時所占的權值β_ab：

β_ab＝σ(w₄×(W₃×[P_a,P_b,Q_a,Q_b,E_a,E_b,F_a^c,F_a^s])) (8)

式(7)中，P_b和Q_b分別是第b個用戶u_b的基礎特征向量和輔助特征向量；E_b是第b個用戶u_b的社交嵌入向量；和分別是第a個用戶u_a的喜歡的圖像集的內容嵌入矩陣和風格嵌入矩陣；θ_s＝[w₄,W₃]是第二底層注意力網絡BotNet2的參數，其中w₄是第二個sigmoid函數的參數，W₃是第二個矩陣參數；

步驟3.2.2、對所述第b個用戶u_b在計算第a個用戶u_a的社交影響力時所占的權值β_ab進行歸一化處理，通過式(9)得到歸一化后的權值

步驟3.2.3、根據式(10)得到第a個用戶u_a的社交影響力

步驟3.3、令C_i表示第i個圖像v_i的上傳者，且每個圖像只有一個上傳者，從而將第i個圖像v_i的上傳者影響力表示為第i個圖像v_i的上傳者C_i的輔助嵌入向量Q_Ci；

以所述上傳一致性、社交影響力和上傳者影響力作為三個方面的社交語義信息；

步驟4、利用式(11)分別得到頂層注意力網絡TopNet的三個輸入A_λ，λ＝1,2,3：

利用式(12)得到三個方面的社交語義信息分別在影響第a個用戶u_a選擇圖像時所占的權值γ_aλ：

γ_aλ＝σ(w₆×(W₅×A_λ)) (12)

式(12)中，θ_a＝[w₆,W₅]是頂層注意力網絡的參數，w₆是第三個sigmoid函數的參數，W₅是第三個矩陣參數；

步驟5、根據三個方面的社交語義信息及其所占的權值計算用戶對圖像的評分預測值，從而對用戶進行圖像推薦：

步驟5.1、根據式(13)得到第a個用戶u_a和第i個圖像v_i對應的預測評分從而得到用戶對物品的評分預測矩陣

式(13)中，W_i^T是第i個圖像v_i的基礎特征向量的轉置向量；

步驟5.2、建立如式(14)所示的損失函數L(θ)：

式(13)中，θ＝[θ₁,θ₂]是待優化的參數，θ₁＝[P,Q,W,X]是特征矩陣，θ₂＝[θ_u,θ_s,θ_a]是注意力網絡的參數，λ是正則化項，D_a＝{(i,j)|i∈R_a∧j∈V-R_a}是第a個用戶u_a的訓練數據，R_a是第a個用戶u_a喜歡的圖像集；

步驟5.3、通過隨機梯度下降法對所述損失函數L(θ)進行優化求解，使得L(θ)達到最小，從而得到最優預測評分矩陣，并根據所最優預測評分矩陣對用戶進行圖像推薦。