[發明專利]一種聚焦于用戶核心興趣的序列推薦方法及裝置

在審

• 申請號: 202210024433.5
• 申請日: 2022-01-06
• 公開（公告）號: CN114461906A
• 公開（公告）日: 2022-05-10
• 發明（設計）人: 艾正陽;王樹鵬;賈思宇;王振宇;王勇
• 申請（專利權）人: 中國科學院信息工程研究所
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06N3/04;G06N3/08
• 代理公司: 北京君尚知識產權代理有限公司 11200
• 代理人: 余長江

本發明公開了一種聚焦于用戶核心興趣的序列推薦方法及裝置，包括獲取用戶與項目的交互序列以及所述交互序列中每個交互行為對應的時間戳；得到所述交互序列的嵌入矩陣；對所述嵌入矩陣進行自注意力計算，得到每一查詢對于所有鍵的注意力值概率分布；獲取每一查詢的預先定義固定默認概率分布；根據兩個概率分布相似性，得到各查詢的活躍性度量；基于所述活躍性度量分別計算各鍵的注意力值，以構建自注意力矩陣；依據所述自注意力矩陣，得到所述用戶的項目推薦結果。本發明通過在嵌入層加入時間間隔，并加入了活躍性度量指標，從而可以自適應地衡量項目與用戶核心興趣之間的相關性，提高了模型表達能力和推薦結果的準確率。

技術領域

本發明涉及推薦系統領域，具體為一種聚焦于用戶核心興趣的序列推薦方法及裝置。

背景技術

傳統的推薦系統如協同過濾等，以靜態方式對用戶和項目的交互進行建模。與之不同的是，序列推薦系統將用戶項目交互視為一個動態序列，并考慮了其順序相關性。序列推薦的研究重點是如何從連續的動態行為中簡潔地捕獲有用的模式，以獲得準確的推薦。

基于馬爾可夫鏈的方法是典型的例子，它作出了一個簡化的假設：下一個動作是以一個或多個最近動作為條件的。其缺點是顯而易見的，它可能無法捕捉某些復雜場景中的復雜動態。另一個有代表性的工作是將遞歸神經網絡用于序列推薦。給定一個用戶的歷史交互序列，基于遞歸神經網絡的序列推薦試圖通過對序列依賴關系建模來預測用戶的下一次交互。然而，受限于其嚴格的單向體系結構，基于遞歸神經網絡的序列推薦容易產生偽依賴，并且難以執行并行訓練。

近年來，受到用于機器翻譯的Transformer模型的啟發，對序列推薦采用自注意機制已成為一種研究趨勢。基于自注意機制的模型可以強調序列中真正相關和重要的交互，同時減少不相關的交互。因此，與基于馬爾可夫鏈和遞歸神經網絡的模型相比，它們具備更高的靈活性和表達能力。

通常，在對用戶的交互序列建模時，本發明希望生成用戶的興趣表征，并在此基礎上進行預測。然而，在現實生活場景中，并不是用戶和項目之間的所有交互都反映了用戶的興趣。一方面，交互序列通常包含由意外點擊引起的用戶興趣漂移。另一方面，在某些情況下，用戶會發現他們對與之交互的項目沒有實際興趣。例如，看了一部他們不喜歡的電影或者購買了一件不合身的衣服。因此，在生成用戶的興趣表征時，考慮上述所有項目可能不會起到積極作用，甚至可能適得其反。本發明將這些不能代表用戶真實興趣且對用戶后續行為沒有任何影響的交互統稱為噪聲交互。相比之下，核心興趣反映了用戶對項目的深度偏好，并主導了他們對候選項目的選擇。因此，從用戶的交互序列中發現代表用戶核心興趣的交互對于生成用戶興趣表征和進行候選項目的預測至關重要。基于經典自注意機制的模型通過在所有項之間執行查詢和鍵的縮放點積計算，在一定程度上實現了對重要項的強調。然而，目前的研究中仍然缺乏明確區分核心興趣相關交互和噪聲交互的方法，以直接消除后者的負面影響。此外，以前大多數模型所作的簡化假設是將交互歷史視為有序序列，而不考慮每次交互之間的時間間隔。這種方法會導致有效信息的丟失，因為交互之間的時間間隔也是用戶行為模式的一部分，應該被包含在用戶興趣表征中。由此可見，現有的序列推薦方法存在諸多缺陷。

發明內容

為了克服現有的序列推薦方法的不足,本發明提供一種聚焦于用戶核心興趣的序列推薦方法，能夠顯式地區分核心興趣相關交互和噪聲交互，以直接消除后者的負面影響。同時考慮了交互之間的時間間隔以保留有效信息。

本發明的技術內容包括：

一種聚焦于用戶核心興趣的序列推薦方法，其步驟包括：

獲取用戶與項目的交互序列以及所述交互序列中每個交互行為對應的時間戳；

結合所述時間戳，獲取所述交互序列的嵌入矩陣；

對所述嵌入矩陣進行自注意力計算，得到每一查詢q_i對于所有鍵的注意力值概率分布p，并通過設置一縮放指數函數，計算每一查詢q_i的預先定義固定默認概率分布q；