[發(fā)明專利]一種信息推送方法、裝置、服務(wù)器及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201811486104.2
• 申請(qǐng)日: 2018-12-06
• 公開（公告）號(hào): CN109451038A
• 公開（公告）日: 2019-03-08
• 發(fā)明（設(shè)計(jì)）人: 王天駒;卞俊杰;姜飛;葉璨
• 申請(qǐng)（專利權(quán)）人: 北京達(dá)佳互聯(lián)信息技術(shù)有限公司
• 主分類號(hào): H04L29/08
• 分類號(hào): H04L29/08;G06N20/00
• 代理公司: 北京柏杉松知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11413
• 代理人: 李欣;馬敬

1.一種信息推送方法，其特征在于，所述方法包括：

當(dāng)?shù)竭_(dá)信息推送時(shí)間時(shí)，獲得待推送信息及待推送的目標(biāo)用戶的狀態(tài)信息；所述狀態(tài)信息包括：所述目標(biāo)用戶在歷史上接收到的歷史推送信息、所述歷史推送信息的推送時(shí)間和所述目標(biāo)用戶對(duì)歷史推送信息的處理方式；

將所述狀態(tài)信息和預(yù)設(shè)動(dòng)作標(biāo)識(shí)輸入至預(yù)先訓(xùn)練得到的深度強(qiáng)化學(xué)習(xí)模型，得到每個(gè)預(yù)設(shè)動(dòng)作標(biāo)識(shí)對(duì)應(yīng)的Q值；其中，所述預(yù)設(shè)動(dòng)作標(biāo)識(shí)包括：推送動(dòng)作的標(biāo)識(shí)和放棄推送動(dòng)作的標(biāo)識(shí)；預(yù)設(shè)動(dòng)作標(biāo)識(shí)對(duì)應(yīng)的Q值為：執(zhí)行該預(yù)設(shè)動(dòng)作標(biāo)識(shí)對(duì)應(yīng)的動(dòng)作后所獲得的長期反饋的估計(jì)值；

根據(jù)所述深度強(qiáng)化學(xué)習(xí)模型輸出的最大Q值所對(duì)應(yīng)的動(dòng)作，確定是否給所述目標(biāo)用戶推送所述待推送消息。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述深度強(qiáng)化學(xué)習(xí)模型包括深度Q網(wǎng)絡(luò)模型。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，在所述將所述狀態(tài)信息和預(yù)設(shè)動(dòng)作標(biāo)識(shí)輸入至預(yù)先訓(xùn)練得到的深度強(qiáng)化學(xué)習(xí)模型的步驟之前，所述方法還包括：

構(gòu)建馬爾可夫決策過程模型；其中，所述馬爾可夫決策過程模型為：{S，A，R，T}；所述S表示用戶的狀態(tài)信息、所述A表示預(yù)設(shè)動(dòng)作標(biāo)識(shí)、所述R表示獎(jiǎng)勵(lì)函數(shù)，所述T表示狀態(tài)轉(zhuǎn)移函數(shù)；

基于所述馬爾可夫決策過程模型，獲得多個(gè)訓(xùn)練樣本；其中，每個(gè)訓(xùn)練樣本中包括：用戶的狀態(tài)信息、所執(zhí)行的目標(biāo)動(dòng)作的標(biāo)識(shí)、執(zhí)行所述目標(biāo)動(dòng)作后所獲得的即時(shí)獎(jiǎng)勵(lì)值、執(zhí)行所述目標(biāo)動(dòng)作后所述狀態(tài)信息對(duì)應(yīng)的下一狀態(tài)信息；所述目標(biāo)動(dòng)作為：推送動(dòng)作或放棄推送動(dòng)作；

利用所述訓(xùn)練樣本對(duì)初始Q函數(shù)的參數(shù)進(jìn)行優(yōu)化，得到訓(xùn)練后的深度Q網(wǎng)絡(luò)模型；所述參數(shù)包括：學(xué)習(xí)速率、折扣因子和Q值。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，當(dāng)所述目標(biāo)動(dòng)作為放棄推送動(dòng)作時(shí)，所述獎(jiǎng)勵(lì)函數(shù)輸出的即時(shí)獎(jiǎng)勵(lì)值為0；當(dāng)所述目標(biāo)動(dòng)作為推送動(dòng)作時(shí)，所述獎(jiǎng)勵(lì)函數(shù)輸出的即時(shí)獎(jiǎng)勵(lì)值＝1.0*正向處理方式對(duì)應(yīng)的取值+(-0.006)*負(fù)向處理方式對(duì)應(yīng)的取值。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，正向處理方式對(duì)應(yīng)的取值＝1-負(fù)向處理方式對(duì)應(yīng)的取值。

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述用戶對(duì)推薦信息的正向處理方式包括：點(diǎn)擊、標(biāo)注為喜歡、評(píng)論和查看時(shí)長大于預(yù)設(shè)閾值中的至少一種；所述用戶對(duì)推薦信息的負(fù)向處理方式包括：放棄處理和關(guān)閉推送中的至少一種。

7.根據(jù)權(quán)利要求1-6中任一項(xiàng)所述的方法，其特征在于，所述目標(biāo)用戶的狀態(tài)信息還包括：所述目標(biāo)用戶對(duì)所述待推送信息所對(duì)應(yīng)的作者的關(guān)注度、所述目標(biāo)用戶的用戶屬性信息、所述目標(biāo)用戶所使用的電子設(shè)備的設(shè)備信息、所述電子設(shè)備的網(wǎng)絡(luò)信息、所述目標(biāo)用戶所發(fā)布的信息和所述目標(biāo)用戶的粉絲數(shù)量信息中一種或多種。

8.一種信息推送裝置，其特征在于，所述裝置包括：

第一獲得模塊，被配置為當(dāng)?shù)竭_(dá)信息推送時(shí)間時(shí)，獲得待推送信息及待推送的目標(biāo)用戶的狀態(tài)信息；所述狀態(tài)信息包括：所述目標(biāo)用戶在歷史上接收到的歷史推送信息、所述歷史推送信息的推送時(shí)間和所述目標(biāo)用戶對(duì)歷史推送信息的處理方式；

輸入模塊，被配置為將所述狀態(tài)信息和預(yù)設(shè)動(dòng)作標(biāo)識(shí)輸入至預(yù)先訓(xùn)練得到的深度強(qiáng)化學(xué)習(xí)模型，得到每個(gè)預(yù)設(shè)動(dòng)作標(biāo)識(shí)對(duì)應(yīng)的Q值；其中，所述預(yù)設(shè)動(dòng)作標(biāo)識(shí)包括：推送動(dòng)作的標(biāo)識(shí)和放棄推送動(dòng)作的標(biāo)識(shí)；預(yù)設(shè)動(dòng)作標(biāo)識(shí)對(duì)應(yīng)的Q值為：執(zhí)行該預(yù)設(shè)動(dòng)作標(biāo)識(shí)對(duì)應(yīng)的動(dòng)作后所獲得的長期反饋的估計(jì)值；

確定模塊，被配置為根據(jù)所述深度強(qiáng)化學(xué)習(xí)模型輸出的最大Q值所對(duì)應(yīng)的動(dòng)作，確定是否給所述目標(biāo)用戶推送所述待推送消息。

9.一種服務(wù)器，其特征在于，包括：

處理器，用于存儲(chǔ)處理器可執(zhí)行指令的存儲(chǔ)器；

其中，所述處理器被配置為執(zhí)行上述1-7中任一項(xiàng)信息推送方法的方法步驟。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，當(dāng)所述存儲(chǔ)介質(zhì)中的指令由服務(wù)器的處理器執(zhí)行時(shí)，使得服務(wù)器能夠執(zhí)行上述1-7中任一項(xiàng)信息推送方法的方法步驟。