[發明專利]一種基于門控多頭自我關注的新聞推薦方法及系統

在審

• 申請號: 202210867135.2
• 申請日: 2022-07-22
• 公開（公告）號: CN115098786A
• 公開（公告）日: 2022-09-23
• 發明（設計）人: 楊振宇;崔來平;李曉陽;李怡雯
• 申請（專利權）人: 齊魯工業大學
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06F16/9536;G06F40/30;G06N3/04;G06N3/08
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 于鳳洋

本發明提出了一種基于門控多頭自我關注的新聞推薦方法及系統，屬于新聞的個性化推薦領域,獲取歷史點擊新聞和候選新聞，使用預訓練模型BERT分別進行新聞編碼，得到歷史點擊新聞特征和候選新聞特征；基于多頭自我注意力，捕捉歷史點擊新聞特征之間的關聯性，并用候選新聞特征進行特征過濾，獲得用戶特征；聯合歷史點擊新聞特征、候選新聞特征和用戶特征，預測用戶瀏覽每個候選新聞的概率，基于預測概率向用戶推薦候選新聞；本發明用門控多頭自我關注機制來調節用戶的興趣，以便更好地將候選新聞與特定的用戶興趣準確匹配；而且將豐富語言知識的預訓練模型BERT應用于新聞推薦來增強新聞文本表示，提高新聞推薦的準確性。

技術領域

本發明屬于新聞的個性化推薦領域，尤其涉及一種基于門控多頭自我關注的新聞推薦方法及系統。

背景技術

本部分的陳述僅僅是提供了與本發明相關的背景技術信息，不必然構成在先技術。

新聞推薦作為推薦系統研究領域的一個重要分支，旨在通過新聞內容和用戶信息盡可能多地幫助用戶找到與用戶興趣偏好相匹配的新聞；不同的單詞和不同的新聞文章在表示新聞和用戶時所隱含的信息是不同的；注意力機制的使用可以賦予不同的單詞和新聞不同的權重，來實現捕捉新聞關鍵的語義信息和用戶的重要的興趣線索；例如An等人提出個性化的詞級與新聞級的關注機制來關注不同單詞與新聞對用戶產生的影響；wu等人提出了一個注意的多視圖學習機制，從新聞的多種成分(標題，類別，正文)學習新聞的表示；Qi等人進一步提出了多頭自我關注的方法實現捕捉單詞與單詞、新聞與新聞之間的長距離的相關性；在這些方法中，注意力機制的使用有效的改善了新聞推薦的性能。

然而，在建模用戶興趣過程中僅考慮了用戶瀏覽新聞之間的關系可能不是最佳的，這是因為用戶的興趣是廣泛的，如在注意力學習用戶興趣的過程中不考慮候選新聞，這會使得學習得到的用戶興趣有較多的與候選新聞無關的信息，很難將候選新聞與特定用戶興趣準確匹配。

發明內容

為克服上述現有技術的不足，本發明提供了一種基于門控多頭自我關注的新聞推薦方法及系統，用門控多頭自我關注機制來調節用戶的興趣，以便更好地將候選新聞與特定的用戶興趣準確匹配；而且將豐富語言知識的預訓練模型BERT應用于新聞推薦來增強新聞文本表示，提高新聞推薦的準確性。

為實現上述目的，本發明的一個或多個實施例提供了如下技術方案：

本發明第一方面提供了一種基于門控多頭自我關注的新聞推薦方法；

一種基于門控多頭自我關注的新聞推薦方法，包括：

獲取歷史點擊新聞和候選新聞，使用預訓練模型BERT分別進行新聞編碼，得到歷史點擊新聞特征和候選新聞特征；

基于多頭自我注意力，捕捉歷史點擊新聞特征之間的關聯性，并用候選新聞特征進行特征過濾，獲得用戶特征；

聯合歷史點擊新聞特征、候選新聞特征和用戶特征，預測用戶瀏覽每個候選新聞的概率，基于預測概率向用戶推薦候選新聞。

進一步的，所述新聞編碼的具體步驟為：

用預訓練模型BERT提取新聞的文本表征；

用Bi-LSTM捕捉文本表征的雙向語義依賴；

基于雙向語義依賴，用注意力網絡對Bi-LSTM的輸出進行聚合，得到含豐富上下文語義信息的新聞特征。

進一步的，所述捕捉歷史點擊新聞特征之間的關聯性，具體步驟為：

計算歷史點擊新聞特征中每個特征的查詢信息、鍵信息和值信息；

對查詢信息、鍵信息和值信息進行多輪縮放點積注意力計算，保存每輪的計算結果；

將全部計算結果進行拼接，并進行一次線性變化，得到加強后的歷史點擊新聞特征。