[發明專利]一種用戶交互敏感的動態圖序列推薦系統

有效

• 申請號: 202110589775.7
• 申請日: 2021-05-28
• 公開（公告）號: CN113313381B
• 公開（公告）日: 2022-04-08
• 發明（設計）人: 李建欣;朱天晨;彭浩;姜春陽;王棟
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06Q30/06;G06F16/901;G06F16/9535;G06N3/04;G06N3/08;G06N7/00
• 代理公司: 北京中創陽光知識產權代理有限責任公司 11003
• 代理人: 尹振啟

本發明通過人工智能技術領域的方法，實現了一種用戶交互敏感的動態圖序列推薦系統。系統整體采用強化學習框架，數據輸入為用戶對商品帶有時間戳的評分數據及用戶自身的屬性數據，系統的輸出為連續多輪推薦產生的推薦商品序列，每一輪的推薦結果均為智能體在觀察過經由動態圖建模的系統環境后，基于動態圖環境的狀態表征、商品表征、用戶對于商品的實時興趣以及用戶屬性信息來做出最優推薦決策。系統的運算過程依次分為五個模塊，采用強化學習中離線訓練方式進行訓練，使用小批量梯度下降方法優化參數，并利用圖神經網絡和自注意力機制建模了環境狀態，能夠基于實時全局環境狀態生成推薦策略得到推薦，具有強實時性、高動態性和可擴展性。

技術領域

本發明涉及人工智能領域，尤其涉及一種用戶交互敏感的動態圖序列推薦系統。

背景技術

隨著社會、經濟等信息化程度的逐漸加深，信息爆炸、信息過載等問題愈演愈烈，因而人們獲取信息的方式正在由“人找信息”逐漸轉變為“信息找人”。眾所周知，推薦系統是解決數據過載的有效手段，精準而有效的推薦在提升用戶體驗感和用戶黏性的同時也提升了信息傳遞的效率，能夠直接或間接地創造更多的收益。然而用戶的興趣愛好會跟隨時間的推移而不斷地變化，且用戶與推薦系統的每次交互都會受到其歷史交互行為的影響，這使得靜態預測用戶對于商品的興趣及評分難以滿足用戶長期、動態的推薦需求。由于這種動態興趣和時序依賴對于精確描述用戶畫像或更準確地推薦商品來說有十分重大的意義，并且它們只能在序列推薦系統中體現，因此將用戶的歷史交互商品建模為商品序列，基于用戶的歷史交互序列開展個性化推薦是推薦系統的重要發展趨勢。

近年來有一些序列推薦方法被提出出來，不幸的是，這些推薦方法的效果總是差強人意，其主要原因在于他們很少從長遠的角度考慮每一次推薦所能帶來的回報，進而導致推薦的召回率較低，且結果有很大的趨同性，難以生成多樣化的推薦。

當前序列推薦系統的主流方法主要是通過RNN類的時序算法、注意力算法或靜態圖神經網絡算法實現。然而一方面，現有的這些方法在推薦過程中均只考慮了單步推薦給用戶和系統帶來的短期收益，具有很大的局限性；另一方面，現有的方法大多基于強時序假設，采取序列模型或靜態圖+序列模型的方式來建模環境的狀態，而這一假設并非在所有場景下均適用。

發明內容

為此，本發明首先提出一種用戶交互敏感的動態圖序列推薦系統，系統整體采用強化學習框架，數據輸入為用戶對商品帶有時間戳的評分數據及用戶自身的屬性數據，系統的輸出為連續多輪推薦產生的推薦商品序列，每一輪的推薦結果均為智能體在觀察過經由動態圖建模的系統環境后，基于動態圖環境的狀態表征、商品表征、用戶對于商品的實時興趣以及用戶屬性信息來做出最優推薦決策。系統的運算過程依次分為五個模塊：數據預處理模塊、序列圖建模模塊、動態環境建模模塊、環境狀態表征模塊、智能體決策模塊，訓練方式采用強化學習中離線訓練的方式進行訓練，使用小批量梯度下降方法優化學習圖神經網絡和Q函數網絡中的所有參數，訓練直到神經網絡收斂到一個局部最優點，loss函數定義如下：

L＝(y_n-Q(s_t，x，a_t))²

其中R_n(s_t，a_t)代表智能體連續n輪推薦所能獲取的獎勵,其計算方式為用戶對于系統連續推薦的n個商品的歸一化評分之和；

所述數據預處理模塊將所述用戶對商品帶有時間戳的評分數據轉化為序列數據，并過濾長尾和噪聲數據，增強系統的穩定性和泛化性；

所述序列圖建模模塊將數據預處理模塊中生成的用戶交互序列數據通過合并相同點的方式轉化為一個h-hop全局序列圖，近似還原商品之間的h-hop依賴關系和相似關系