[發明專利]一種緩解數據稀疏性和商品冷啟動的商品推薦模型

在審

• 申請號: 202110454998.2
• 申請日: 2021-04-26
• 公開（公告）號: CN113139850A
• 公開（公告）日: 2021-07-20
• 發明（設計）人: 王琨;丁漩
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06Q30/06
• 分類號: G06Q30/06;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 西安銘澤知識產權代理事務所(普通合伙) 61223
• 代理人: 盧會剛

1.一種緩解數據稀疏性和商品冷啟動的商品推薦模型，其特征在于，包括：

Embedding預訓練層：用于引入商品的各類屬性，利用隨機游走算法對商品的各類屬性進行建模并獲取到對應的Embedding向量，利用神經網絡對各類Embedding向量的權重進行訓練并融合，得到最終商品的Embedding；

多頭自注意力網絡層：將用戶歷史交互商品序列對應的特征向量和位置特征編碼進行組合，作為多頭自注意力網絡層的輸入，經過多頭自注意力網絡層線性變換后，輸出經過編碼的用戶行為序列，并對用戶行為序列內部隱含的商品間的依賴關系進行提取；

注意力權重AUGRU：根據提取出的依賴關系，引入注意力權重AUGRU結構，結合注意力得分對興趣演化路徑進行篩選；

多層神經網絡MLP：將得到的興趣演化結果和商品的Embedding進行拼接，輸入到多層神經網絡MLP中自動學習特征之間的非線性組合關系，最后輸出用戶購買目標商品的概率，根據概率判別是否向用戶推薦該商品。

2.如權利要求1所述的一種緩解數據稀疏性和商品冷啟動的商品推薦模型，其特征在于，商品的各類屬性包括商品主分類、商品子分類以及商品品牌，通過加權平均的方法獲取商品聚合后的Embedding向量公式，如下所示：

其中，表示商品v的第j類屬性對應的Embedding，為相應的權重，用于保證每類輔助信息的權重都大于0。

3.如權利要求2所述的一種緩解數據稀疏性和商品冷啟動的商品推薦模型，其特征在于，使用Skip-Gram神經網絡模型對各類Embedding的權重進行訓練，EGES的損失函數表示為：

其中，H_v,Z_u分別表示商品v和商品u的Embedding，σ為sigmoid激活函數。

4.如權利要求1所述的一種緩解數據稀疏性和商品冷啟動的商品推薦模型，其特征在于，位置特征編碼的維度和用戶歷史交互商品序列對應的特征向量保持一致，均為d_model，位置編碼的特征向量E稱為用戶歷史交互商品向量，且表示如下：

將用戶歷史交互商品向量E輸入到多頭自注意力網絡中，通過線性轉換得到對應的Q，K和V，并且多個Linear層有不同的權重系數，再經過H次Scaled Dot-Product Attention操作得到Z＝{Z₁,Z₂,…,Z}，具體公式如下所示：

其中，d_k為Q和K的維度；

將輸出的H個Z_i拼接得到經過一次線性轉化即可得到最終輸出H＝{H₁,H₂,…,H}，為保證輸出的H結構和輸入E保持一致，設置權重矩陣d_model為輸入向量E的維度。

5.如權利要求4所述的一種緩解數據稀疏性和商品冷啟動的商品推薦模型，其特征在于，將商品序列的表達向量H輸入到前饋神經網絡FFN中，所述前饋神經網絡FFN由兩個線性變換和一個ReLU激活函數構成，具體公式如下：

FNN(h_t)＝max(0,h_tW₁+b₁)W₂+b₂ (5)

經過前饋神經網絡后，完成對用戶歷史交互商品向量中商品依賴關系的提取。