[發明專利]基于深度強化學習的信息流推薦方法、裝置、設備及介質

在審

• 申請號: 201910871544.8
• 申請日: 2019-09-16
• 公開（公告）號: CN110851699A
• 公開（公告）日: 2020-02-28
• 發明（設計）人: 羅振煜
• 申請（專利權）人: 中國平安人壽保險股份有限公司
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06F16/9538;G06N3/04;G06N3/08
• 代理公司: 深圳市世聯合知識產權代理有限公司 44385
• 代理人: 汪琳琳

本申請實施例公開了一種基于深度強化學習的信息流推薦方法、裝置、設備及介質，涉及信息處理技術領域。該方法包括：采集目標用戶的歷史點擊序列；調用預設的actor神經網絡和critic神經網絡；生成用戶推薦列表，向目標用戶展示用戶推薦列表，以獲取反饋結果數據和反饋后產生的新的歷史點擊序列；計算時間差分誤差；更新critic神經網絡和actor神經網絡中的參數；生成新的用戶推薦列表，并展示新的用戶推薦列表，直至無法獲取到目標用戶針對新的用戶推薦列表的反饋結果數據和反饋后產生的新的歷史點擊序列為止。所述方法增強了推薦系統與用戶的交互性，對用戶的反饋進行了實時利用，能不斷地優化推薦引擎，提升推薦的質量，提升用戶體驗，以有效地吸引用戶留存。

技術領域

本申請實施例涉及信息處理技術領域，特別是一種基于深度強化學習的信息流推薦方法、裝置、設備及介質。

背景技術

隨著人工智能的發展，越來越多的產品應用利用人工智能以提高用戶與產品之間的交互體驗，如根據用戶的興趣特點和購買行為，向用戶推薦用戶感興趣的產品。而隨著電子商務規模的不斷擴大，商品個數和種類快速增長，顧客需要花費大量的時間才能找到自己想買的商品。這種瀏覽大量無關的信息和產品過程會使淹沒在信息過載問題中的消費者不斷流失。為了解決這些問題，商品推薦系統建立在海量數據挖掘和智能決策的基礎之上，幫助電子商務網站為其顧客購物提供有效的決策支持和信息服務。

商品推薦系統利用一些推薦算法從用戶的行為和偏好中發現規律，并由此進行推薦。目前，現有的推薦算法模型一般都忽略了與用戶的交互過程，只關注用戶的行為，而且沒有充分的利用用戶的實時反饋，并根據用戶的反饋對模型作出進一步的改進。使現有的推薦系統缺乏與用戶的交互性，容易導致用戶對推薦的信息不感興趣，在信息流場景下用戶的訪問體驗提升不高。

發明內容

本申請實施例所要解決的技術問題是，提供一種基于深度強化學習的信息流推薦方法、裝置、設備及存儲介質，增強推薦系統與用戶的交互性，并能不斷優化推薦結果，提升信息推薦的質量。

為了解決上述技術問題，本申請實施例所述的一種基于深度強化學習的信息流推薦方法，采用了如下所述的技術方案：

一種基于深度強化學習的信息流推薦方法，包括：

基于目標用戶的信息流采集所述目標用戶的歷史點擊序列；

調用預設的actor神經網絡和critic神經網絡；

將所述歷史點擊序列輸入所述actor神經網絡生成用戶推薦列表，并向目標用戶展示所述用戶推薦列表，以獲取所述目標用戶針對所述用戶推薦列表的反饋結果數據和反饋后產生的新的歷史點擊序列；

將歷史點擊序列和新的歷史點擊序列分別輸入所述critic神經網絡，以結合所述反饋結果數據計算時間差分誤差；

基于所述時間差分誤差更新所述critic神經網絡中的參數，進而結合所述時間差分誤差和所述用戶推薦列表更新所述actor神經網絡中的參數；

將新的歷史點擊序列輸入更新后的actor神經網絡生成新的用戶推薦列表，并向目標用戶展示所述新的用戶推薦列表，直至無法獲取到所述目標用戶針對所述新的用戶推薦列表的反饋結果數據和反饋后產生的新的歷史點擊序列為止。

本申請實施例所述的基于深度強化學習的信息流推薦方法，利用actor-critic神經網絡架構，增強了推薦系統與用戶的交互，對用戶的反饋進行了實時利用，能不斷地優化推薦引擎，使用戶的反饋直接作用于下一次推薦結果，提升推薦的質量，讓用戶體驗得以提升，從而增加每次用戶的訪問時長和用戶來訪頻率，有效地吸引用戶留存。

進一步的，所述的基于深度強化學習的信息流推薦方法，所述將所述歷史點擊序列輸入所述actor神經網絡生成用戶推薦列表的步驟包括：