[發明專利]一種基于圖孿生網絡的推薦方法

在審

• 申請號: 202010578945.7
• 申請日: 2020-06-23
• 公開（公告）號: CN111881342A
• 公開（公告）日: 2020-11-03
• 發明（設計）人: 簡萌;張宸林;毋立芳;胡文進;鄧斯諾;盧哲;張恒
• 申請（專利權）人: 北京工業大學
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06F16/9536;G06N3/04;G06N3/08;G06Q50/00
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 劉萍

1.一種基于圖孿生網絡的推薦方法，其特征在于，設計應用了以下幾個模塊：用戶關系和物品關系信息挖掘模塊、U-I交互特征提取模塊、交互推測模塊、Top-N推薦模塊；

首先將用戶數據和物品數據根據U-I交互關系進行用戶關系圖和物品關系圖結構化建模；用戶關系信息和物品關系信息挖掘模塊通過設計的雙通道兩層圖卷積網絡層分別對兩個關系圖進行圖卷積分析，學習兩個關系圖的節點特征表達，進而挖掘用戶關系和物品關系信息；U-I交互特征提取模塊利用注意力機制，通過設計的圖交互網絡層建模目標用戶和待推薦物品的交互特征表達；交互推測模塊通過經典的DNN網絡學習交互特征向量的分布規律，建模U-I之間高階非線性關系，得到用戶對目標物品的預測評分；Top-N推薦模塊通過top-N推薦機制實現對目標用戶的個性化推薦任務。

2.根據權利要求1所述的方法，其特征在于，各模塊的內容如下：

1).用戶關系信息和物品關系信息挖掘模塊

第一個模塊是用戶關系和物品關系信息挖掘模塊，通過設計的雙通道的圖孿生網絡進行用戶和物品關系信息的挖掘，其中每個通道通過兩層強原則性的圖卷積網絡層對用戶關系特征或者物品關系特征進行建模分析，進而充分挖掘他們的關系信息；

首先，利用U-I交互網絡中的二階關系作為中間路徑，將U-I交互信息建模為用戶關系圖和物品關系圖；然后通過雙通道的兩層圖卷積網絡層精確建模用戶和物品關系特征表達；兩個通道圖卷積網絡層的處理方式如下：

對于關系圖當前層的任一節點，圖卷積層通過聚合該節點前一層的鄰居節點特征和該節點特征學習得到該層的節點特征表達；首先，通過關系圖帶有自環的度矩陣完成關系圖當前層該節點的自卷積處理；然后，通過對該節點所有邊的權值信息進行softmax歸一化處理，通過歸一化后的權重信息加權求和該節點對應的一階鄰居節點特征；然后將自卷積處理得到的特征和一階鄰居關系聚合得到的特征各個維度相加后初步完成該層的節點特征更新；最后，將更新得到的節點關系特征經過一個維度可調節的參數矩陣完成該層該節點的圖卷積處理；該參數矩陣兩個維度跟關系圖節點特征維度保持一致；

2).U-I交互特征提取模塊

第二個模塊是U-I交互特征提取模塊，這一模塊的功能是用戶和物品關系特征建模完成后，利用注意力機制，通過圖交互網絡層建模目標用戶和待推薦物品的交互特征；其中，注意力機制采用的是兩層全連接層網絡，圖交互網絡層的處理方式如下：

首先，對于用戶關系圖目標用戶節點和物品關系圖待推薦物品節點，將用戶節點特征拼接待推薦物品節點特征和其一階鄰居節點特征；將拼接完成后的特征輸入到自注意力網絡中，對輸出值進行softmax處理得到物品節點及其一階鄰居節點特征的權值系數，根據得到的權值加權求和物品節點及其一階鄰居節點關系特征得到待推薦物品部分的交互特征；同樣，將物品節點特征拼接目標用戶節點特征和其一階鄰居節點特征；將拼接完成后的特征輸入到自注意力網絡，對輸出值進行softmax處理得到用戶節點及其一階鄰居節點特征的權值系數；根據得到的權值加權求和目標用戶節點及其一階鄰居節點關系特征得到目標用戶部分的交互特征；最后，拼接待推薦物品部分的交互特征和目標用戶部分的交互特征得到最終的交互特征表達；

3).交互推測模塊

第三個模塊是交互推測模塊，學習交互特征的分布得到用戶對目標物品的推測評分；通過經典的DNN算法學習用戶和物品的特征信息，得到更為精確的推測結果；

在得到目標用戶和待推薦物品的交互特征表達后，直接將交互向量輸入到DNN網絡中，得到模型的初步預測；通過sigmoid函數對模塊預測值進行歸一化處理，將用戶對目標物品的預測評分建模為偏好概率表達；

4).Top-N推薦模塊

最后一個模塊是top-N推薦模塊，得到目標用戶對待推薦列表所有物品的評值預測后；對所有物品根據評分進行降序排序，將前N個物品推薦給該用戶，實現該用戶的個性化推薦。

3.根據權利要求1所述的方法，其特征在于，具體實施步驟如下：

首先根據U-I交互數據進行圖結構化建模；為有交互記錄的用戶和物品之間建立連接關系；然后，根據U-I交互圖節點連接關系，利用物品作為中間路徑，以兩個用戶之間的二階路徑數量作為用戶關系圖中這兩個用戶節點之間邊的信息，進而建立用戶關系圖；利用用戶作為中間路徑，以兩個物品之間二階路徑數量作為物品關系圖中這兩個物品節點之間邊的信息，進而建立物品關系圖；

1).用戶關系信息和物品關系信息挖掘模塊

在完成用戶關系和物品關系的圖結構化建模后；隨機初始化兩個關系圖的節點特征；通過設計的兩層圖卷積網絡層學習兩個關系圖的節點特征，進而精確的建模用戶關系信息和物品關系信息；其中任一層的節點特征都是通過聚合上一層圖卷積網絡層中的該節點特征和其一階鄰居節點特征得到；其中每一個通道的圖卷積層的處理方式如下：

首先，通過關系圖帶有自環的度矩陣完成關系圖所有節點的自卷積處理；具體地，就是將該層所有節點特征每一維度除以該節點帶有自環的度數；其中，帶有自環的度矩陣是一個對角陣，每一個維度的對角元素對應該節點的度數，其數學表達式為：

其中，矩陣A是該關系圖的鄰接矩陣(方陣)，第i行代表著關系圖第i個節點與其他節點的連接關系，i∈{0,1，…,N},N表示關系圖中的節點數量；公式(1)的j表示鄰接矩陣A的列數，j∈{0,1，…,N}；I_N是維度為N的單位矩陣；矩陣表示帶有自環的度矩陣，是個對角矩陣，第i行對角元素的值表示關系圖第i個節點帶有自環的度數；自卷積處理完成后，對于關系圖任一節點N_i，對該節點間邊的權值信息進行softmax歸一化處理，通過歸一化后的權重信息聚合該節點的一階鄰居節點特征，然后將自卷積處理后的特征和一階鄰居關系聚合得到的特征各個維度相加后初步完成該層的節點特征更新；關系圖該層所有其他節點都做相同的處理；其中，上述聚合節點信息的數學表達式為：

其中，表示關系圖第K層圖卷積網絡層節點N_i通過聚合前一層節點特征更新得到的特征表達；表示第K-1層圖卷積網絡層節點N_i的特征表達；表示帶有自環的度矩陣在第i個對角元素的值，即節點N_i的帶有自環的度數；N(i)表示節點N_i的一階鄰居節點集合，節點a(N_a)是集合N(i)的任一節點；表示第K-1層圖卷積層節點N_a的特征表達，表示softmax歸一化后得到的節點N_a對節點N_i的特征更新權值，的數學表達計算為：

其中，L_ia表示關系圖節點N_i和其一階鄰居節點N_a的對應邊的值；節點b(N_b)屬于節點N_i的一階鄰居節點集合中的任一節點，N(i)表示目標節點N_i的一階鄰居節點集合；最后，將更新得到的所有節點特征經過一個維度可調節的參數矩陣完成該層的圖卷積處理；其數學表達式如下：

其中，表示關系圖第K層圖卷積網絡層節點N_i通過聚合前一層節點特征更新得到的特征表達；σ表示非線性激活函數，采用的是Relu激活函數，W^(K)表示第K層圖卷積網絡層的參數矩陣；在經過一個維度可調節的參數矩陣W^(K)后，完成了節點N_i在第K層圖卷積層的卷積處理；關系圖該層所有其他節點都經過該層的參數矩陣W^(K)，進而完成該層所有節點的圖卷積層的處理；

同時，可以直接通過矩陣運算完成關系圖所有節點的圖卷積層的運算處理；圖卷積層的矩陣形式處理的數學表達如下：

A_Lij＝L_ij (7)

其中，函數f表示圖卷積層的處理函數，該函數以第K-1層的節點特征矩陣H^(K-1)，關系圖的鄰接矩陣A，關系圖邊的關系矩陣A_L為輸入，以第K層節點特征矩陣H^(K)為輸出；其中，節點特征矩陣H^(K)和H^(K-1)的每一行都代表著對應節點的關系特征表達，A_L矩陣任一位置元素值代表關系圖相關邊上的值；是邊的關系矩陣A_L的偏指數化處理，即對A_L的非零元素值進行指數化映射，exp^*是對輸入矩陣的非零元素值做指數化映射的函數；是矩陣的度矩陣，是個對角矩陣，公式(9)的j表示鄰接矩陣A的列數；W^(K)是第K層圖卷積層的參數矩陣，W^(K)參數矩陣的兩個維度跟節點特征維度保持一致；σ表示Relu非線性激活函數；

在用戶關系圖和物品關系圖分別做了兩層的圖卷積層后，用戶關系信息和物品關系信息得到了充分建模；

2).U-I交互特征提取模塊

在用戶關系特征和物品關系特征得到充分建模后，針對成對的目標用戶u_i和待推薦物品v_j，通過一層圖交互層，融合相關節點關系特征得到對應的交互特征表達；首先，拼接目標用戶關系特征和待推薦物品及其一階鄰居節點關系特征；將拼接特征輸入到注意力網絡中，并對網絡輸出的值進行softmax處理進而得到待推薦物品及其一階鄰居節點關系特征的權重系數；通過得到的權重加權求和相應的物品關系特征得到待推薦物品v_j部分的交互特征表達；其數學表達式為：

其中，W₁，W₂表示兩層attention網絡的參數矩陣，b₁，b₂表示兩層attention網絡的偏差系數，σ表示的是非線性激活函數，采用的是Relu激活函數；表示的是用戶關系圖中目標用戶u_i的關系特征；表示物品關系圖中物品v_t的關系特征，其中節點t(v_t)屬于待推薦物品v_j及其一階鄰居物品集合的任一物品節點；N(j)表示待推薦物品v_j的一階鄰居集合；表示拼接處理；為注意力網絡的輸出值，網絡的輸入為目標用戶關系特征和物品v_t的關系特征拼接得到的特征向量；然后，對注意力網絡的所有輸出值進行softmax歸一化處理后，得到物品節點v_t對應的權重系數μ_it；公式(11)表示softmax處理，分母為待推薦物品節點v_j及其所有的一階鄰居物品節點對應的注意力網絡輸出值之和，分子為物品節點v_t的注意力網絡輸出值；其中，分母的x表示待推薦物品v_j及其一階鄰居物品集合的任一物品節點；跟的計算方式相同，是將物品節點x(v_x)的關系特征和目標用戶u_i的關系特征拼接后輸入到注意力網絡中，進而得到的注意力網絡的輸出值；最后，根據得到的物品節點v_t的權重μ_it，加權求和所有相關物品節點v_t的關系特征得到待推薦物品v_j部分的交互特征z_j；

同樣，拼接待推薦物品關系特征和目標用戶及其一階鄰居節點關系特征；將拼接特征輸入到注意力網絡中，并對網絡輸出的值進行softmax處理進而得到目標用戶及其一階鄰居節點關系特征的權重系數；通過得到的權重加權求和對應的用戶關系特征得到目標用戶u_i部分的交互特征表達；其數學表達式為：

其中，W₁，W₂表示兩層attention網絡的參數矩陣，b₁，b₂表示兩層attention網絡的偏差系數，σ表示的是非線性激活函數，采用的是Relu激活函數；表示物品關系圖待推薦物品節點v_j的關系特征；表示用戶關系圖中用戶節點u_k的關系特征，其中節點k(u_k)屬于目標用戶u_i及其一階鄰居用戶集合中的的任一用戶節點；N(i)表示目標用戶u_i的一階鄰居節點集合；表示拼接處理；為注意力網絡的輸出值，網絡的輸入為待推薦物品關系特征和用戶u_k的關系特征拼接得到的特征向量；然后，對注意力網絡的所有輸出值進行softmax歸一化處理后，得到用戶節點u_k對應的權重系數β_jk；公式(14)表示softmax處理,分母為目標用戶節點u_i及其所有的一階鄰居用戶節點對應的注意力網絡輸出值之和，分子為用戶節點u_k的注意力網絡輸出值；其中，分母的y表示目標用戶u_i及其一階鄰居用戶集合中的的任一用戶節點；跟的計算方式相同，是將用戶節點y(u_y)的關系特征和待推薦物品關系特征拼接后輸入到注意力網絡中，進而得到的注意力網絡的輸出值；最后，根據得到的用戶節點u_k的權重β_jk，加權求和所有相關用戶節點u_k的關系特征得到目標用戶u_i部分的交互特征z_i；

在得到目標用戶u_i部分的交互特征表達z_i、待推薦物品v_j部分的交互特征表達z_j后，拼接兩個部分的交互特征，得到目標用戶u_i和待推薦物品v_j的交互特征；其數學表達式為：

z_i為用戶部分的交互特征，z_j為待物品部分的交互特征；表示拼接處理；z_ij為最后的目標用戶u_i及其待推薦物品v_j的交互特征表達；

3).交互推測模塊

在得到目標用戶u_i和待推薦物品v_j的交互特征后，模型通過交互推測模塊學習交互特征的分布規律，進而得到用戶u_i對物品v_j精確的偏好預測；交互推測模塊本方法使用的是經典的DNN網絡；直接將交互特征輸入到DNN網絡中，進而得到用戶對該物品的預測評分，然后再通過sigmoid歸一化處理將模型的預測評分建模為用戶u_i對物品v_j的偏好概率表達；其數學表達式為：

g₁＝z_ij (17)

g₂＝σ(W₁·g₁+b₁) (18)

g₃＝σ(W₂·g₂+b₂) (19)

r’_ij＝sigmoid(W₃·g₃) (20)

其中，z_ij為目標用戶u_i及其待推薦物品v_j的交互特征表達；W₁，W₂，W₃表示DNN網絡的參數矩陣，b₁，b₂表示的是DNN網絡中的偏差系數，σ表示的是非線性激活函數，采用的是Relu激活函數；g₁，g₂，g₃是DNN網絡每一層輸出的交互向量表達；r’_ij是經過sigmoid歸一化后得到的模型的預測評值表達，其中，公式(20)的sigmoid表示對sigmoid函數，將DNN網絡的最后一層的輸出值進行歸一化映射；

4).Top-N推薦模塊

在得到模型對每個用戶的所有物品的預測評值后，根據模型輸出值對參與評比的物品進行由大到小排序，通過top-N推薦機制取排序完成后的前N個物品推薦給該目標用戶，進而完成對該用戶的個性化推薦。