[發(fā)明專利]一種基于注意力的多興趣序列推薦方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202111567320.1
• 申請日: 2021-12-20
• 公開（公告）號: CN114254194A
• 公開（公告）日: 2022-03-29
• 發(fā)明（設(shè)計）人: 何明;韓天槊
• 申請（專利權(quán)）人: 北京工業(yè)大學
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06Q30/06;G06N3/08
• 代理公司: 北京思海天達知識產(chǎn)權(quán)代理有限公司 11203
• 代理人: 沈波

本發(fā)明公開了一種基于注意力的多興趣序列推薦方法及系統(tǒng)，提出了一個模型MUIR，該模型使用多個向量表示用戶的不同層面的興趣，并能夠為用戶提供多樣化的推薦結(jié)果。采用基于自注意力的方法學習低級層面的表示，并利用上下文信息和輔助信息學習另一更高層級的表示，在不增加太多額外成本的情況下，顯著提高了總體綜合訓練效率。設(shè)計了兩個基于自注意力的模塊，并嘗試在學習過程中非侵入地結(jié)合輔助信息和會話上下文信息，完成了對傳統(tǒng)自注意力模型的性能超越。設(shè)計的MLP的融合模塊通過考慮最近交互的項來平衡本地級和全局級表示，這個模塊能夠計算不同興趣向量的召回數(shù)量，并且不需要目標項目的參與，能夠在在線服務(wù)階段提高效率。

技術(shù)領(lǐng)域

本發(fā)明涉及序列推薦推薦技術(shù)領(lǐng)域，具體涉及一種基于的自注意力機制的多興趣序列推薦系統(tǒng)，相關(guān)細節(jié)技術(shù)還包括興趣融合。

背景技術(shù)

互聯(lián)網(wǎng)時代，隨著多樣化的輸出平臺和普通人群的使用頻率的不斷增長，互聯(lián)網(wǎng)生成的多樣化信息內(nèi)容正在急劇增長，這一現(xiàn)象導致了信息量過載(informationoverload)的問題，該問題成為了用戶獲取所需內(nèi)容、滿足自身消費需求的重大阻礙。為解決這一問題，推薦系統(tǒng)應(yīng)運而生，并成為各大平臺中重要的技術(shù)工具。通常，這些系統(tǒng)的主要任務(wù)是從海量內(nèi)容中挖掘出用戶可能感興趣的內(nèi)容，進而提升用戶體驗，增加使用及消費的可能性。然而，基于傳統(tǒng)思路的推薦也存在一些問題，如準確度不高、排序不好、無法適用于頻繁迭代的新場景等問題。因此有人提出使用序列建模方法，對用戶交互序列中的項目及其關(guān)系進行挖掘。序列模型對歷史行為中的的有效交互進行注意力分數(shù)計算，并采取一些手段來進行序列整體表示的生成，將該序列整體表示與物品編碼進行相似度計算，從而完成推薦列表的生成。

現(xiàn)有序列推薦系統(tǒng)存在一些不足。第一點，這些方法的評估目標往往會趨向于交互概率最大的項目，因此生成的推薦結(jié)果可能欠缺多樣性、豐富度較低。這些方法通常生成一個相對較大的編碼，因為對應(yīng)的項目編碼的維度必須很大，才能表達對應(yīng)用戶的多種興趣偏好；同時類似SASRec的基于自注意力的方法，如果在過去的互動中，近期有大量相似的項目占主導地位，此類模型傾向于預(yù)測與近期交互具有較高相似度的項目，進而忽略那些存在于早期交互序列中的項目，進而影響相似度的計算，將次優(yōu)結(jié)果推薦給用戶。

因此，提出了一個名為MUIR(Learning and Fusing Multiple User InterestRepresentations for Sequential Recommendation)的序列推薦模型，它可以從不同層面捕捉用戶的不同興趣，并結(jié)合向量表示來生成對應(yīng)的綜合興趣編碼，依據(jù)對應(yīng)的興趣編碼來分別召回項目；為了有效地學習用戶的局部級別(local-level)和全局級別(global-level)的興趣表示，應(yīng)用了兩個結(jié)合輔助信息和上下文信息的自注意力興趣提取模塊，來學習交互歷史中不同項目的權(quán)重表示；設(shè)計了一個基于多層感知機的融合模塊，它能夠生成一個權(quán)重分數(shù)，通過這個權(quán)重分數(shù)來將兩種模塊學習到的結(jié)果進行加權(quán)拼接，這種融合思路是相對較為新穎的；在三個數(shù)據(jù)集上，設(shè)計了對應(yīng)的實驗來實驗來評估MUIR模型，對應(yīng)的結(jié)果表明，與一些近年來的在實際生產(chǎn)環(huán)境中取得應(yīng)用的模型相比，提出的方法顯優(yōu)于這些方法，并且降低了運行的開銷，提高了效率。

發(fā)明內(nèi)容

在本發(fā)明中，提出了一個模型MUIR，該模型使用多個向量表示用戶的不同層面的興趣，并解決用戶興趣多樣化的問題。每個向量都可以用來獨立地檢索項目。采用基于自注意力的方法學習低級層面(local-level)的表征，并利用上下文信息和輔助信息學習另一更高層級(global-level)的表征。因此，在不增加太多額外成本的情況下，顯著提高了總體綜合訓練效率。添加了一個gate模塊，這個模塊能夠計算不同興趣向量的召回數(shù)量。

本發(fā)明的主要技術(shù)特征總結(jié)如下：

·提出了一個名為MUIR的新模型，該模型捕獲用戶的多樣化興趣向量，并將這些向量進行融合，生成召回的依據(jù)。