[發明專利]利用變分的正則化流實現的項目推薦方法及模型訓練方法

有效

• 申請號: 201910515356.1
• 申請日: 2019-06-14
• 公開（公告）號: CN110232480B
• 公開（公告）日: 2021-05-11
• 發明（設計）人: 鐘婷;溫子敬;周帆
• 申請（專利權）人: 電子科技大學
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06Q10/06;G06N3/04;G06K9/62
• 代理公司: 成都虹盛匯泉專利代理有限公司 51268
• 代理人: 王偉

本發明提供了一種利用變分的正則化流實現的項目推薦模型訓練方法及項目推薦方法，采用帶注意力機制的循環神經網絡并加入正則化流的變分推斷，通過學習會話序列的隱含變量，為用戶推薦下一次點擊的項目，只通過用戶點擊過的項目序列數據就可以穩定有效地近似推斷整個會話序列的下一次點擊項目，而且預測模型加入注意力機制來增強會話中重要的項目點的權重，大大提高了預測的精確度。此外，本發明在模型中加入了變分的正則化流去學習隱含變量的真實分布，這可以減小傳統的變分模型(比如VAE)在基于會話的推薦問題中的誤差。

技術領域

本發明屬于機器學習中的神經網絡領域，是一種基于深度學習的方法，主要利用正則化流(Normalizing Flow)去挖掘基于會話(session-based)的項目序列中存在的潛在信息，學習每個項目序列在潛在空間中的隱含變量，并用這些隱含變量去預測用戶下一次可能點擊的項目，并為用戶推薦該預測項目。

背景技術

首先介紹一下session-based的概念：session是服務器端來記錄識別用戶的一種機制，典型的場景比如購物車，服務端為特定對象創建的特定的會話(session),用于標識這個對象，并跟蹤用戶的瀏覽點擊行為，從而生成了一組用戶點擊過的序列數據，我們以用戶點擊的商品序列為例，研究用戶的瀏覽點擊行為，分析用戶的商品喜好，預測用戶可能點擊的下一個商品，并為用戶推薦該商品，這一類問題被稱作基于會話的推薦問題(SBR)。

傳統的方法采用會話序列中項目(items)間的相似性預測下一個點擊的項目(item)。這種方法沒有考慮項目間的先后順序以及整個序列的信息，無法充分利用會話數據，導致預測準確率不高。還有一類方法使用馬爾科夫決策過程，刻畫序列信息，通過計算轉移概率去預測下一個點擊的項目，這種方法的缺點是狀態的數量巨大，會隨著維度指數上升，導致無法計算。由于會話數據中缺少用戶的特征信息以及會話數據的序列很長(其中包含了太多的點擊過項目)，這種數據會很容易導致預測的錯誤。

基于深度學習方法，提供一種通過捕獲長的會話序列中的信息提高預測精確度的項目預測方法，以解決傳統項目推測方法中存在的預測準確率不高、預測效率低及隨著狀態數量劇增而導致無法預測等問題，正是本發明的研究任務。

發明內容

本發明的目的旨在針對傳統項目推測方法存在的預測準確率不高、預測效率低等技術現狀，提供一種利用變分的正則化實現的項目推薦模型訓練方法，訓練出的項目推薦模型能夠實現對用戶可能點擊項目的準確、高效預測。

本發明的另一目的旨在提供一種利用上述項目推薦模型給用戶進行項目推薦的方法。

本發明的思路為，利用循環神經網絡(GRU或LSTM)和注意力機制(Attentionmechanism)去學習會話序列中項目間的潛在信息，從而更好的捕獲序列中項目的先后順序信息，這有助于對長序列的學習。此外，本發明增加變分推斷的過程，用變分的正則化流去學習隱含變量的真實分布，這樣很大程度能夠避免直接使用變分自編碼器(variationalautoencoder,VAE)的誤差。

基于上述發明思路，本發明提供的利用變分的正則化流實現的項目推薦模型訓練方法，其特征在于包括以下步驟：

S1，構建訓練集：利用同一用戶的基于會話的序列構建訓練集；

S2，數據的預處理：將基于會話的序列劃分為輸入數據和標簽項目，并將輸入數據中的每一個項目進行嵌入，表示成嵌入向量；

S3，獲取隱含變量，將表示成嵌入向量的輸入數據輸入循環神經網絡，并引入正則化流學習算法和注意力機制，分別構建第一隱含變量和第二隱含變量，并將兩個隱含變量拼接在一起獲取最終的隱含變量；

S4，獲取第一損失，將最終的隱含變量輸入到分類器中，輸出得到預測項目，利用預測項目和該會話序列的標簽項目計算交叉熵損失，并將其作為第一損失；