[發明專利]一種緩解數據稀疏性和商品冷啟動的商品推薦模型

在審

• 申請號: 202110454998.2
• 申請日: 2021-04-26
• 公開（公告）號: CN113139850A
• 公開（公告）日: 2021-07-20
• 發明（設計）人: 王琨;丁漩
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06Q30/06
• 分類號: G06Q30/06;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 西安銘澤知識產權代理事務所(普通合伙) 61223
• 代理人: 盧會剛

本發明公開了一種緩解數據稀疏性和商品冷啟動的商品推薦模型，涉及興趣挖掘技術領域，提出了CTR預估模型GEARec用于商品的個性化推薦。通過引入圖嵌入技術，除了解決稀疏性和冷啟動的問題，將預先訓練好的Embedding輸入到上層的深度神經網絡，還可以加快網絡的收斂速，進一步提升模型性能。GEARec模型由預訓練的Embedding層、多頭自注意力網絡層、AUGRU和MLP構建而成。輸入的用戶行為序列的Embedding向量表示經過多頭自注意力網絡層和AUGRU后，將計算結果和其他Embedding進行拼接，輸入到MLP中自動學習特征之間的非線性關系，最后輸出用戶購買候選商品的概率。

技術領域

本發明涉及興趣挖掘技術領域，特別涉及一種緩解數據稀疏性和商品冷啟動的商品推薦模型。

背景技術

在實際的電商購物場景中，通常來說用戶的興趣遷移非常快，通過多頭自注意力網絡能夠有效提取商品間的依賴關系，但現有技術整體上還是基于用戶所有購買歷史的綜合推薦，而不是預測下一次購買的推薦。因此我們還需要針對不同的候選商品來篩選影響力更大的用戶歷史行為序列。

在現有的商品推薦系統中經常會面臨兩種情況，用戶只與很少的商品有過交互行為以及新上線的商品沒有過用戶行為，這種情況分別稱之為稀疏性和冷啟動問題。針對這兩類問題，使用常規的推薦模型進行預測時表現并不是很好。因此針對此問題，本申請提出基于EGES技術、多頭自注意力網絡以及AUGRU結構，創建了一種新的推薦模型GEARec，從而解決數據稀疏性和用戶商品冷啟動問題。

發明內容

本發明的目的在于提供一種緩解數據稀疏性和商品冷啟動的商品推薦模型，基于EGES技術、多頭自注意力網絡以及AUGRU結構，創建了一種新的推薦模型GEARec，從而解決數據稀疏性和用戶商品冷啟動問題。

本發明提供了一種緩解數據稀疏性和商品冷啟動的商品推薦模型，包括：

Embedding預訓練層：用于引入商品的各類屬性，利用隨機游走算法對商品的各類屬性進行建模并獲取到對應的Embedding向量，利用神經網絡對各類Embedding向量的權重進行訓練并融合，得到最終商品的Embedding；

多頭自注意力網絡層：將用戶歷史交互商品序列對應的特征向量和位置特征編碼進行組合，作為多頭自注意力網絡層的輸入，經過多頭自注意力網絡層線性變換后，輸出經過編碼的用戶行為序列，并對用戶行為序列內部隱含的商品間的依賴關系進行提取；

注意力權重AUGRU：根據提取出的依賴關系，引入注意力權重AUGRU結構，結合注意力得分對興趣演化路徑進行篩選；

多層神經網絡MLP：將得到的興趣演化結果和商品的Embedding進行拼接，輸入到多層神經網絡MLP中自動學習特征之間的非線性組合關系，最后輸出用戶購買目標商品的概率，根據概率判別是否向用戶推薦該商品。

進一步地，商品的各類屬性包括商品主分類、商品子分類以及商品品牌，通過加權平均的方法獲取商品聚合后的Embedding向量公式，如下所示：

其中，表示商品v的第j類屬性對應的Embedding，為相應的權重，用于保證每類輔助信息的權重都大于0。

進一步地，使用Skip-Gram神經網絡模型對各類Embedding的權重進行訓練，EGES的損失函數表示為：

其中，H_v,Z_u分別表示商品v和商品u的Embedding，σ為sigmoid激活函數。

進一步地，位置特征編碼的維度和用戶歷史交互商品序列對應的特征向量保持一致，均為d_model，位置編碼的特征向量E稱為用戶歷史交互商品向量，且表示如下：