[發(fā)明專利]基于深度強化學(xué)習(xí)的信息流推薦方法、裝置、設(shè)備及介質(zhì)

在審

• 申請?zhí)枺?/td>: 201910871544.8
• 申請日: 2019-09-16
• 公開（公告）號: CN110851699A
• 公開（公告）日: 2020-02-28
• 發(fā)明（設(shè)計）人: 羅振煜
• 申請（專利權(quán)）人: 中國平安人壽保險股份有限公司
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06F16/9538;G06N3/04;G06N3/08
• 代理公司: 深圳市世聯(lián)合知識產(chǎn)權(quán)代理有限公司 44385
• 代理人: 汪琳琳

1.一種基于深度強化學(xué)習(xí)的信息流推薦方法，其特征在于，包括：

基于目標用戶的信息流采集所述目標用戶的歷史點擊序列；

調(diào)用預(yù)設(shè)的actor神經(jīng)網(wǎng)絡(luò)和critic神經(jīng)網(wǎng)絡(luò)；

將所述歷史點擊序列輸入所述actor神經(jīng)網(wǎng)絡(luò)生成用戶推薦列表，并向目標用戶展示所述用戶推薦列表，以獲取所述目標用戶針對所述用戶推薦列表的反饋結(jié)果數(shù)據(jù)和反饋后產(chǎn)生的新的歷史點擊序列；

將歷史點擊序列和新的歷史點擊序列分別輸入所述critic神經(jīng)網(wǎng)絡(luò)，以結(jié)合所述反饋結(jié)果數(shù)據(jù)計算時間差分誤差；

基于所述時間差分誤差更新所述critic神經(jīng)網(wǎng)絡(luò)中的參數(shù)，進而結(jié)合所述時間差分誤差和所述用戶推薦列表更新所述actor神經(jīng)網(wǎng)絡(luò)中的參數(shù)；

將新的歷史點擊序列輸入更新后的actor神經(jīng)網(wǎng)絡(luò)生成新的用戶推薦列表，并向目標用戶展示所述新的用戶推薦列表，直至無法獲取到所述目標用戶針對所述新的用戶推薦列表的反饋結(jié)果數(shù)據(jù)和反饋后產(chǎn)生的新的歷史點擊序列為止。

2.根據(jù)權(quán)利要求1所述的基于深度強化學(xué)習(xí)的信息流推薦方法，其特征在于，所述將所述歷史點擊序列輸入所述actor神經(jīng)網(wǎng)絡(luò)生成用戶推薦列表的步驟包括：

通過所述actor神經(jīng)網(wǎng)絡(luò)提取所述歷史點擊序列中的隱藏特征；

將所述隱藏特征輸入所述actor神經(jīng)網(wǎng)絡(luò)結(jié)合所述歷史點擊序列生成所述用戶推薦列表。

3.根據(jù)權(quán)利要求1所述的基于深度強化學(xué)習(xí)的信息流推薦方法，其特征在于，所述將所述歷史點擊序列輸入所述actor神經(jīng)網(wǎng)絡(luò)生成用戶推薦列表的步驟還包括：

提取所述歷史點擊序列中的若干個歷史點擊項目，將所述若干個歷史點擊項目設(shè)為所述用戶推薦列表的候選集；

通過所述actor神經(jīng)網(wǎng)絡(luò)獲取用戶推薦列表中每個位置的權(quán)重向量；

分別計算每個所述權(quán)重向量與所述候選集中每個歷史點擊項目的點積，記為排序分值；

基于所述排序分值對所述候選集中的歷史點擊項目進行排序，以生成所述用戶推薦列表。

4.根據(jù)權(quán)利要求1所述的基于深度強化學(xué)習(xí)的信息流推薦方法，其特征在于，所述將歷史點擊序列和新的歷史點擊序列分別輸入所述critic神經(jīng)網(wǎng)絡(luò)，以結(jié)合所述反饋結(jié)果數(shù)據(jù)計算時間差分誤差的步驟包括：

基于所述反饋結(jié)果數(shù)據(jù)獲取所述用戶推薦列表的獎懲回報值R，并通過critic神經(jīng)網(wǎng)絡(luò)計算出目標用戶反饋前對所述歷史點擊序列的評估值V(S)，和目標用戶反饋后對所述新的歷史點擊序列的評估值V(S')；

調(diào)用預(yù)設(shè)的誤差公式td_error＝R+V(S')–V(S)，基于所述誤差公式計算所述時間差分誤差td_error。

5.根據(jù)權(quán)利要求4所述的基于深度強化學(xué)習(xí)的信息流推薦方法，其特征在于，所述基于所述反饋結(jié)果數(shù)據(jù)獲取所述用戶推薦列表的獎懲回報值R的步驟之前，所述方法還包括步驟：

對目標用戶的反饋狀態(tài)進行回報等級劃分；

基于劃分的回報等級為所述用戶推薦列表中每個項目的反饋狀態(tài)配置對應(yīng)的獎懲回報值。

6.根據(jù)權(quán)利要求5所述的基于深度強化學(xué)習(xí)的信息流推薦方法，其特征在于，所述基于所述反饋結(jié)果數(shù)據(jù)獲取所述用戶推薦列表的獎懲回報值R的步驟包括：

監(jiān)控目標用戶對所述用戶推薦列表的反饋狀態(tài)，以根據(jù)所述反饋狀態(tài)匹配到對應(yīng)的獎懲回報值。

7.根據(jù)權(quán)利要求4所述的基于深度強化學(xué)習(xí)的信息流推薦方法，其特征在于，所述基于所述時間差分誤差更新所述critic神經(jīng)網(wǎng)絡(luò)中的參數(shù)，進而結(jié)合所述時間差分誤差和所述用戶推薦列表更新所述actor神經(jīng)網(wǎng)絡(luò)中的參數(shù)的步驟包括：

對所述時間差分誤差求導(dǎo)得到第一梯度，通過調(diào)整所述critic神經(jīng)網(wǎng)絡(luò)中的參數(shù)調(diào)整所述第一梯度，以對所述第一梯度進行梯度下降，從而更新所述critic神經(jīng)網(wǎng)絡(luò)中的參數(shù)；

以所述時間差分誤差對所述用戶推薦列表求導(dǎo)得到第二梯度，通過調(diào)整所述actor神經(jīng)網(wǎng)絡(luò)中的參數(shù)調(diào)整所述第二梯度，以對所述第二梯度進行梯度下降，從而更新所述actor神經(jīng)網(wǎng)絡(luò)中的參數(shù)。