[發明專利]一種基于門控多頭自我關注的新聞推薦方法及系統

在審

• 申請號: 202210867135.2
• 申請日: 2022-07-22
• 公開（公告）號: CN115098786A
• 公開（公告）日: 2022-09-23
• 發明（設計）人: 楊振宇;崔來平;李曉陽;李怡雯
• 申請（專利權）人: 齊魯工業大學
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06F16/9536;G06F40/30;G06N3/04;G06N3/08
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 于鳳洋

1.一種基于門控多頭自我關注的新聞推薦方法，其特征在于，包括：

獲取歷史點擊新聞和候選新聞，使用預訓練模型BERT分別進行新聞編碼，得到歷史點擊新聞特征和候選新聞特征；

基于多頭自我注意力，捕捉歷史點擊新聞特征之間的關聯性，并用候選新聞特征進行特征過濾，獲得用戶特征；

聯合歷史點擊新聞特征、候選新聞特征和用戶特征，預測用戶瀏覽每個候選新聞的概率，基于預測概率向用戶推薦候選新聞。

2.如權利要求1所述的一種基于門控多頭自我關注的新聞推薦方法，其特征在于，所述新聞編碼的具體步驟為：

用預訓練模型BERT提取新聞的文本表征；

用Bi-LSTM捕捉文本表征的雙向語義依賴；

基于雙向語義依賴，用注意力網絡對Bi-LSTM的輸出進行聚合，得到含豐富上下文語義信息的新聞特征。

3.如權利要求1所述的一種基于門控多頭自我關注的新聞推薦方法，其特征在于，所述捕捉歷史點擊新聞特征之間的關聯性，具體步驟為：

計算歷史點擊新聞特征中每個特征的查詢信息、鍵信息和值信息；

對查詢信息、鍵信息和值信息進行多輪縮放點積注意力計算，保存每輪的計算結果；

將全部計算結果進行拼接，并進行一次線性變化，得到加強后的歷史點擊新聞特征。

4.如權利要求1所述的一種基于門控多頭自我關注的新聞推薦方法，其特征在于，所述用候選新聞特征進行特征過濾的具體步驟為：

基于加強后的歷史點擊新聞特征、查詢信息和候選新聞特征，計算新聞內部信息和通道調節門信息；

對新聞內部信息和通道調節門信息進行點積運算，得到重構后的新聞特征；

對實現重構后的新聞特征進行注意力加權聚合，生成用戶特征。

5.如權利要求1所述的一種基于門控多頭自我關注的新聞推薦方法，其特征在于，所述預測用戶瀏覽每個候選新聞的概率，基于預測概率向用戶推薦候選新聞，具體步驟為：

構建由正樣本和負樣本組成的訓練庫，對概率預測模型進行訓練；

將待預測的候選新聞特征輸入到訓練好的模型中，得到候選新聞的點擊概率；

對一組候選新聞的點擊概率進行排序，取前幾個候選新聞推薦給用戶。

6.如權利要求1所述的一種基于門控多頭自我關注的新聞推薦方法，其特征在于，所述概率預測模型，輸入的是候選新聞特征和用戶特征，輸出的是候選新聞的點擊概率。

7.如權利要求1所述的一種基于門控多頭自我關注的新聞推薦方法，其特征在于，所述點擊概率，為用戶特征和新聞特征的內積。

8.一種基于門控多頭自我關注的新聞推薦系統，其特征在于：包括新聞編碼模塊、用戶編碼模塊和概率預測模塊：

新聞編碼模塊，被配置為：獲取歷史點擊新聞和候選新聞，使用預訓練模型BERT分別進行新聞編碼，得到歷史點擊新聞特征和候選新聞特征；

用戶編碼模塊，被配置為：基于多頭自我注意力，捕捉歷史點擊新聞特征之間的關聯性，并用候選新聞特征進行特征過濾，獲得用戶特征；

概率預測模塊，被配置為：聯合歷史點擊新聞特征、候選新聞特征和用戶特征，預測用戶瀏覽每個候選新聞的概率，基于預測概率向用戶推薦候選新聞。

9.計算機可讀存儲介質，其上存儲有程序，其特征在于，該程序被處理器執行時實現如權利要求1-7任一項所述的一種基于門控多頭自我關注的新聞推薦方法中的步驟。

10.電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的程序，其特征在于，所述處理器執行所述程序時實現如權利要求1-7任一項所述的一種基于門控多頭自我關注的新聞推薦方法中的步驟。