[發明專利]基于迭代圖注意力網絡的用戶興趣預測方法及電子裝置

有效

• 申請號: 202011159408.5
• 申請日: 2020-10-27
• 公開（公告）號: CN112380427B
• 公開（公告）日: 2022-07-08
• 發明（設計）人: 林政;付鵬;劉歡;王偉平;孟丹
• 申請（專利權）人: 中國科學院信息工程研究所
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06Q50/00;G06N20/00
• 代理公司: 北京君尚知識產權代理有限公司 11200
• 代理人: 余功勛

1.一種基于迭代圖注意力網絡的用戶興趣預測方法，適用于由一個或多個已知標簽用戶與一個或多個未知標簽用戶組成的用戶網絡，應用一個由圖注意力網絡GAT_θ與圖注意力網絡組成的迭代圖注意網絡，其步驟包括：

1)通過預訓練的語言模型，得到各用戶的用戶特征u_j，其中1≤j≤N，N為用戶數量；

2)將用戶特征u_j輸入圖注意力網絡通過固定興趣標簽聯合依賴概率近似未知標簽用戶分布對圖注意力網絡的參數θ^(t-1)進行更新，得到圖注意力網絡的參數θ^(t)，其中t為迭代次數，t≥1，興趣標簽聯合依賴概率未知標簽用戶分布通過用戶網絡得到，I_L為已知標簽，I_un為未知標簽，U_V為用戶特征u_j的集合；

3)將用戶特征u_j輸入圖注意力網絡各未知標簽用戶通過學習用戶網絡中已知標簽用戶的用戶特征，得到用戶特征

4)依據用戶網絡，對用戶特征進行標簽傳播，得到用戶標簽

5)將用戶標簽輸入圖注意力網絡并通過固定未知標簽用戶分布近似興趣標簽聯合依賴概率對圖注意力網絡的參數進行更新，得到圖注意力網絡的參數

6)將用戶標簽輸入圖注意力網絡依據各用戶標簽依賴關系，得到用戶標簽表示

7)根據用戶標簽表示得到未知標簽用戶分布布與興趣標簽聯合依賴概率

8)當迭代圖注意網絡收斂后，依據用戶特征得到各用戶興趣標簽。

2.如權利要求1所述的方法，其特征在于，預訓練的語言模型包括BERT模型。

3.如權利要求1所述的方法，其特征在于，通過以下步驟得到各用戶的標簽表示

1)通過用戶特征u_j與鄰居用戶特征u_jk，計算注意力系數其中k為用戶j的鄰居用戶編號；

2)對各注意力系數進行歸一化，得到注意力系數

3)依據鄰居用戶特征u_jk與注意力系數通過多頭注意力機制，得到各用戶的標簽表示其中多頭注意力機制中聚合函數Concat(*)在最后一層會被替換為Average(*)。

4.如權利要求3所述的方法，其特征在于，通過以下步驟得到注意力系數

1)用戶特征u_j由共享的權重W_u∈R^{F′×F}經一次線性變換從F維轉換為F’維，得到用戶特征u′_j；

2)將用戶特征u′_j與鄰居用戶特征u_jk進行橫向拼接；

3)將拼接結果經過權重向量α^T∈R^2F′參數化后，共同送入一個單層的前饋網絡并進行非線性的LeakyReLU操作，得到注意力系數

5.如權利要求1所述的方法，其特征在于，通過以下步驟用戶標簽

1)依據通過one-hot編碼的用戶向量，得到一概率轉移矩陣P；

2)計算轉化矩陣其中D是用戶網絡的度矩陣；

3)通過公式對標簽傳播過程進行迭代直至收斂，得到用戶標簽矩陣I^(t)，其中用戶特征矩陣H^(t)是由用戶特征構成，用戶標簽矩陣I^(t)是由用戶標簽構成，t′為標簽傳播過程的迭代次數，t′≥1，λ為超參。

6.如權利要求1所述的方法，其特征在于，通過以下步驟得到用戶標簽表示

1)通過注意力機制捕獲用戶標簽與第K-階鄰居用戶標簽間的依賴關系

2)依據用戶標簽與依賴關系通過頭注意力機制，得到各用戶的標簽表示

7.如權利要求1所述的方法，其特征在于，所述迭代圖注意網絡的最大似然估計其中I_V為全部標簽集合。