[發(fā)明專利]一種利用多模態(tài)網(wǎng)絡學習進行基于社交關(guān)系的電影推薦的方法

有效

• 申請?zhí)枺?/td>: 201711129690.0
• 申請日: 2017-11-15
• 公開（公告）號: CN107918652B
• 公開（公告）日: 2020-10-02
• 發(fā)明（設計）人: 趙洲;孟令濤;林志杰;楊啟凡;蔡登;何曉飛;莊越挺
• 申請（專利權(quán)）人: 浙江大學
• 主分類號: G06F16/435
• 分類號: G06F16/435;G06F16/9535
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 鄭海峰

1.一種利用多模態(tài)網(wǎng)絡學習進行基于社交關(guān)系的電影推薦的方法，其特征在于包括如下步驟：

1)針對于一組電影、用戶，依據(jù)用戶之間的相互關(guān)注關(guān)系、用戶對于電影的評價構(gòu)建含有其相關(guān)關(guān)系的SMR網(wǎng)絡；

2)對于步驟1)所得到的SMR網(wǎng)絡，利用隨機游走的方法，針對于SMR網(wǎng)絡構(gòu)建采樣路徑并進行如下操作：對于所采樣路徑中的電影節(jié)點，利用其海報及描述信息形成電影描述映射，對于用戶節(jié)點，生成用戶的描述映射；對于電影及用戶的描述映射求出損失值，并進行梯度下降求解獲取最終的用戶及電影表達；

3)利用步驟2)學習得到的用戶及電影表達形成用戶的電影推薦；

所述的步驟2)具體步驟為:

2.1)對于步驟1)形成的SMR網(wǎng)絡利用隨機游走的方法，針對于每一個節(jié)點進行采樣，形成采樣的路徑；且進行路徑采樣時，限定只可以從被關(guān)注者到關(guān)注者進行采樣；

2.2)利用步驟2.1)所采樣的節(jié)點，首先對于用戶節(jié)點，隨機生成用戶映射矩陣U；對于路徑上的電影節(jié)點，利用卷積神經(jīng)網(wǎng)絡VGG-Net生成該電影的電影海報I＝{i₁,i₂,...,i_n}的視頻表達Y＝{y₁,y₂,...,y_n}：其中n代表海報的張數(shù)，y_i代表第i張海報i_i對應的VGG-Net的輸出表達；利用LSTM網(wǎng)絡生成該電影的電影描述的文本表達X＝{x₁,x₂,...,x_n}：其中n代表電影描述的個數(shù)，且與海報的張數(shù)相同均為n，x_i代表第i段描述d_i對應的LSTM網(wǎng)絡的輸出；對于每一段描述，首先將該段的描述分成各個句子，對于每一個句子的每一個單詞利用單詞嵌入映射的方法，得到每一個單詞的單詞映射d_it，將每一個句子的單詞映射序列(d_i1,d_i2,...,d_ik)作為LSTM網(wǎng)絡的輸入，獲取每一個句子的LSTM網(wǎng)絡的輸出作為該句子映射表達，將每一段的所有句子表達通過一個額外的Mean-pooling層得到該段落的表達x_i；

2.3)利用步驟2.2)找出的電影的視頻表達Y＝{y₁,y₂,...,y_n}與電影描述對應的文本表達X＝{x₁,x₂,...,x_n}，按照如下公式映射到同一多模態(tài)特征混合空間，并將兩者加起來，得到多模態(tài)混合層的激活輸出：

z_j＝g(W^d·x_j+αWⁱy_j)

其中，W^d與Wⁱ分別為對應于電影文本描述特征分量x_j與電影海報特征分量y_j的維度變換權(quán)重矩陣，α代表電影文本描述特征分量與電影海報特征分量的相加相對權(quán)重，+代表對于電影文本描述特征分量與電影海報特征分量進行按元素相加，z_j是最終形成的電影的第j項內(nèi)容的混合表達；g(.)代表如下所示的元素級別的反正切函數(shù)：

2.4)針對于步驟2.3)獲得的所有電影的混合描述Z＝(z₁,z₂,...,z_n)構(gòu)成的電影矩陣V與步驟2.2)獲得的所有用戶的映射構(gòu)成的用戶映射矩陣U，利用如下的目標函數(shù)來構(gòu)建最終的訓練網(wǎng)絡：

其中，h_i為電影矩陣V或用戶映射矩陣U的某個電影或某個用戶的映射向量，激活損失函數(shù)l_v(.)為不同用戶對于特定電影的相對喜歡程度，損失函數(shù)l_u(.)為特定用戶對于不同電影的相對喜歡程度，下面對于這兩個函數(shù)進行詳述：

對于損失函數(shù)l_v(.)，其具體形式如下所示：

其中u⁺代表對于電影v_i有較高喜愛度的用戶，u^-代表對于電影v_i有較低喜愛度的用戶，m代表目標函數(shù)中的邊緣值，0＜m＜1；

對于損失函數(shù)l_u(.)，其具體形式如下所示：

其中用戶u_i對于電影v⁺比對于電影v^-有著更高的喜愛度，m代表目標函數(shù)中的邊緣值，0＜m＜1；

上式中的函數(shù)均代表第j個用戶對于電影內(nèi)容的綜合表達的排序模型，且滿足對于任意的有序三元組(j,i,k)∈T＝{(j,i,k)}，有如下不等式成立：

其中，有序三元組(j,i,k)∈T代表第j個用戶相對于電影k更喜歡電影i，u_j為用戶j的映射向量，z_k為電影k的綜合表達向量；T表示轉(zhuǎn)置運算符號；

2.5)針對于步驟2.4)中的目標函數(shù)構(gòu)建如下式所示的訓練損失值作為最終整個訓練模型的目標函數(shù)：

其中，θ為整個多模態(tài)網(wǎng)絡模型中的所有參數(shù)，λ為目標函數(shù)的訓練損失值與正則項之間的相對大小權(quán)衡參數(shù)；

2.6)針對于步驟2.5)中的目標函數(shù)，使用隨機梯度下降的方法來更新參數(shù)，并且使用Adagrad的學習率更新方法，即對于參數(shù)θ，在第t步按照如下公式進行更新：

其中，ρ為最初的學習率，g_t為在第t步的子梯度；

2.7)針對于步驟2.6)的參數(shù)更新方法，經(jīng)過預設次數(shù)的循環(huán)更新參數(shù)之后，形成最終的用戶映射矩陣及電影的綜合映射。

2.根據(jù)權(quán)利要求1所述利用多模態(tài)網(wǎng)絡學習進行基于社交關(guān)系的電影推薦的方法，其特征在于所述的步驟3)具體為：

對于步驟2.7)形成的最終的用戶映射矩陣及電影的綜合映射，利用所形成的用戶映射矩陣及電影的綜合映射，對于所給的用戶及相應電影，判斷該用戶對于某些電影的相對喜愛程度，并進行排序，將排序較為靠前的電影推薦給該用戶，形成對于用戶的電影推薦排序。