[發明專利]基于膠囊網絡與交互注意力機制的評級預測方法及系統

有效

• 申請號: 202011552081.8
• 申請日: 2020-12-24
• 公開（公告）號: CN112699215B
• 公開（公告）日: 2022-07-05
• 發明（設計）人: 楊振宇;劉國敬;王皓
• 申請（專利權）人: 齊魯工業大學
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/35;G06F16/9535;G06K9/62
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 李琳

本公開提供了一種基于膠囊網絡與交互注意力機制的評級預測方法及系統，所述方案通過設計的一種具有強解釋性的反向動態路由來聚合用戶和物品的上下文特征并生成方面特征；同時，提出一種交互注意力機制，通過所述交互注意力機制分別在多個特征子空間構建用戶和物品上下文特征之間的交互來使模型學習到細粒度的交互信息，有效緩解了各個方面特征之間的趨同現象，提高了評級預測的精確度。

技術領域

本公開屬于評級預測技術領域，尤其涉及一種基于膠囊網絡與交互注意力機制的評級預測方法及系統。

背景技術

本部分的陳述僅僅是提供了與本公開相關的背景技術信息，不必然構成在先技術。

評論文本作為推薦系統的寶貴信息來源，通常包含著具有用戶偏好和物品屬性的豐富語義。現有技術中，主流的推薦模型都是利用深度學習技術對評論文本進行建模，這些方法采用關聯矩陣來建模用戶和物品之間的相關性，進而聚合用戶和物品的上下文特征形成具有一定可解釋性的潛在表示。發明人發現，現有方法受限制的是關聯矩陣只能從整體上構建一種粒度的用戶和物品上下文特征的交互過程，而不能更細粒度的建模這種復雜性的相關性；此外，通過關聯矩陣同樣會得到用戶和物品單一的潛在特征表示，這不足以表達評論中包含用戶偏好和物品屬性的豐富語義。

一般來講，用戶在進行評級時，會從多個角度或不同方面給出自己的評論意見，它可以使我們理解用戶進行評級的真實想法。直覺上，用戶對物品的不同方面會有不同的重視程度，這也會體現在評論中。因此，模型需要考慮不同的方面下用戶和物品上下文特征之間的交互。然而，在研究多個基于方面的推薦模型時，發現方面表示之間常常會出現趨同現象。原因在于這些方面表示是在從各個方面的獨有空間中學習到的，而不是原始的上下文特征空間，這導致我們無法顯式地辨別各個方面之間的差異。此外，大多數模型應用注意力機制來聚合方面表示，而不考慮最終方面表示的狀態。這導致上下文特征權重在學習的過程中逐漸被固定，無法進一步的突出與方面相關的信息。

發明內容

本公開為了解決上述問題，提供了一種基于膠囊網絡與交互注意力機制的評級預測方法及系統，所述方案提供了一種新穎的交互注意力機制，用于獲取用戶和物品的上下文特征中細粒度的相關性，并采用反向動態路由策略將用戶和物品的上下文特征聚合成方面特征用于評級預測，有效緩解了各個方面特征之間的趨同現象，提高了評級預測的精確度。

根據本公開實施例的第一個方面，提供了一種基于膠囊網絡與交互注意力機制的評級預測方法，包括：

獲取用戶評論數據和物品評論數據，分別構建用戶文檔和物品文檔；

將所述用戶文檔和物品文檔輸入預訓練的評級預測模型，獲得用戶-物品的評級預測結果；

其中，所述評級預測模型包括依次連接的內容編碼單元、交互注意力單元、反向動態路由單元以及預測單元，所述內容編碼單元分別提取用戶文檔和物品文檔的上下文特征；通過所述交互注意力單元學習用戶和物品的上下文特征之間細粒度的相關性；通過所述反向動態路由單元分別對用戶和物品的上下文特征進行聚合，獲得用戶及物品的方面膠囊表示與方面重要性指標。

進一步的，所述內容編碼單元提取用戶文檔和物品文檔的上下文特征的具體步驟包括：將用戶文檔和物品分別送入到相同的嵌入層、局部注意力層和卷積層來進行上下文編碼，獲得用戶和物品的上下文特征。

進一步的，所述交互注意力單元學習用戶和物品的上下文特征之間細粒度的相關性的具體步驟包括：

通過線性的方式將用戶和物品的原始上下文特征映射到若干不同頭的低維特征子空間中；

通過在多個子空間中分別計算用戶和物品上下文特征的注意力權值來捕獲在不同粒度下用戶和物品的交互；

將所有子空間學習到的用戶和物品注意力上下文進行拼接，從而得到用戶和物品之間細粒度的相關性信息。