[發(fā)明專利]一種基于注意力的多興趣序列推薦方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202111567320.1
• 申請日: 2021-12-20
• 公開（公告）號: CN114254194A
• 公開（公告）日: 2022-03-29
• 發(fā)明（設(shè)計）人: 何明;韓天槊
• 申請（專利權(quán)）人: 北京工業(yè)大學(xué)
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06Q30/06;G06N3/08
• 代理公司: 北京思海天達(dá)知識產(chǎn)權(quán)代理有限公司 11203
• 代理人: 沈波

1.一種基于注意力的多興趣序列推薦方法，其特征在于方法包括如下步驟：

步驟(1)從用戶的行為日志或相關(guān)數(shù)據(jù)集中提取用戶所產(chǎn)生的交互記錄，并獲取其在這些交互記錄上產(chǎn)生的具體行為類型；

步驟(2)在上一步中得到的數(shù)據(jù)的基礎(chǔ)上，將這些數(shù)據(jù)劃分為訓(xùn)練集、驗(yàn)證集和測試集；在訓(xùn)練集中的每一條交互記錄上，采取切分策略進(jìn)行數(shù)據(jù)擴(kuò)展，將一條交互記錄“1、2、3、4”劃分為“1、2”，“1、2、3”，“1、2、3、4”，數(shù)字編號代表一條交互內(nèi)容，是瀏覽過的商品或新聞；

步驟(3)對于每一條劃分的新紀(jì)錄，嘗試獲取對應(yīng)記錄的local-level興趣表示，即使用基于改進(jìn)版本的自注意力分?jǐn)?shù)計算、前饋、興趣提取模塊的網(wǎng)絡(luò)結(jié)構(gòu)，來獲取用戶的多重local-level興趣表示；

步驟(4)與步驟(3)并行執(zhí)行，對于每一條劃分的新紀(jì)錄，嘗試獲取對應(yīng)的global-level興趣表示，即使用結(jié)合全局上下文信息和輔助信息的全局自注意力、前饋、興趣提取模塊的網(wǎng)絡(luò)結(jié)構(gòu)，來獲取用戶的多重global-level興趣表示；

步驟(5)中，針對步驟(3)和(4)中獲得的兩種興趣表示，進(jìn)行興趣融合，分別計算出這兩種興趣的權(quán)重；設(shè)計了一個基于MLP的融合模塊來計算local-level和global-level表示的權(quán)重，并根據(jù)此權(quán)重來進(jìn)行融合，得到多重興趣表示向量；

步驟(6)在模型的訓(xùn)練階段，針對步驟(5)融合后的多重向量中的某一項進(jìn)行反向傳播；在模型的測試或在線服務(wù)階段，將用戶完整的交互序列作為輸入，參照步驟(2)至步驟(5)中的四個步驟計算出多重興趣表示向量，利用向量檢索工具，針對多重向量中的每一個向量都召回一定數(shù)量的物品，召回數(shù)量由步驟(5)中的權(quán)重決定，從而得到最終的推薦列表。

2.根據(jù)權(quán)利要求1所述的一種基于注意力的多興趣序列推薦方法，其特征在于：本方法提出利用基于自注意力機(jī)制的多用戶興趣提取方法進(jìn)行序列推薦，遷移了在序列推薦以及其他序列任務(wù)中被廣泛使用的自注意力機(jī)制來學(xué)習(xí)不同層級表征，并針對本模型中任務(wù)的特殊性，將整體會話上下文信息和輔助信息納入了考量；設(shè)計融合模塊提高運(yùn)行效率。