[發(fā)明專利]策略評(píng)估方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010075759.1
• 申請(qǐng)日: 2020-01-22
• 公開（公告）號(hào): CN113159810A
• 公開（公告）日: 2021-07-23
• 發(fā)明（設(shè)計(jì)）人: 賈晉康;陳冠霖;李世雷;王軼凡;張釙;朱弘哲;段雨佑;王雪穎
• 申請(qǐng)（專利權(quán)）人: 百度在線網(wǎng)絡(luò)技術(shù)（北京）有限公司
• 主分類號(hào): G06Q30/02
• 分類號(hào): G06Q30/02;G06Q30/06;G06Q10/06
• 代理公司: 北京同立鈞成知識(shí)產(chǎn)權(quán)代理有限公司 11205
• 代理人: 朱穎;臧建明

1.一種策略評(píng)估方法，其特征在于，包括：

在離線狀態(tài)下，確定與待評(píng)估策略對(duì)應(yīng)的離線資源推薦列表；

確定抽樣用戶中各個(gè)用戶的用戶特征，其中，所述抽樣用戶的用戶分布與線上用戶的用戶分布一致；

基于各個(gè)所述用戶的用戶特征以及所述離線資源推薦列表中各個(gè)資源，確定所述待評(píng)估策略對(duì)應(yīng)的收益評(píng)估指標(biāo)，其中，所述收益評(píng)估指標(biāo)用于對(duì)所述離線資源推薦列表的資源的用戶反饋行為進(jìn)行評(píng)估。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于各個(gè)所述用戶的用戶特征以及所述離線資源推薦列表中各個(gè)資源，確定所述待評(píng)估策略對(duì)應(yīng)的收益評(píng)估指標(biāo)，包括：

基于各個(gè)所述用戶的用戶特征以及所述離線資源推薦列表中各個(gè)資源的資源特征，預(yù)測(cè)各個(gè)所述用戶對(duì)各個(gè)所述資源的用戶反饋行為；

對(duì)各個(gè)所述用戶對(duì)各個(gè)所述資源的所述用戶反饋行為進(jìn)行統(tǒng)計(jì)，得到統(tǒng)計(jì)結(jié)果；

基于所述統(tǒng)計(jì)結(jié)果，確定所述待評(píng)估策略對(duì)應(yīng)的所述收益評(píng)估指標(biāo)。

3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述方法還包括：

確定所述離線資源推薦列表中各個(gè)資源的資源類型；

對(duì)所述離線資源推薦列表中各個(gè)類型的資源進(jìn)行統(tǒng)計(jì)，得到統(tǒng)計(jì)結(jié)果；

基于所述統(tǒng)計(jì)結(jié)果，確定所述待評(píng)估策略對(duì)應(yīng)的護(hù)欄指標(biāo)，其中，所述護(hù)欄指標(biāo)用于對(duì)所述待評(píng)估策略對(duì)應(yīng)的資源的排序以及召回進(jìn)行評(píng)估。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

獲取所述待評(píng)估策略上線之前的基線資源推薦列表；

基于各個(gè)所述用戶的用戶特征以及所述基線資源推薦列表中各個(gè)資源，確定所述待評(píng)估策略上線之前的基線收益評(píng)估指標(biāo)；

將所述基線收益評(píng)估指標(biāo)與所述待評(píng)估策略對(duì)應(yīng)的所述收益評(píng)估指標(biāo)進(jìn)行對(duì)比，得到對(duì)比結(jié)果；

基于所述對(duì)比結(jié)果對(duì)所述待評(píng)估策略進(jìn)行調(diào)整。

5.根據(jù)權(quán)利要求1或4所述的方法，其特征在于，所述方法還包括：

獲取所述待評(píng)估策略上線之后的上線資源推薦列表；

基于各個(gè)所述用戶的用戶特征以及所述上線資源推薦列表中各個(gè)資源，確定所述待評(píng)估策略上線之后的上線收益評(píng)估指標(biāo)；

將所述上線收益評(píng)估指標(biāo)與所述待評(píng)估策略對(duì)應(yīng)的所述收益評(píng)估指標(biāo)進(jìn)行對(duì)比，得到對(duì)比結(jié)果；

基于所述對(duì)比結(jié)果對(duì)所述待評(píng)估策略進(jìn)行調(diào)整。

6.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述方法還包括：

從多個(gè)用戶的歷史數(shù)據(jù)中提取所述用戶特征，生成用戶知識(shí)庫(kù)，其中，所述用戶特征包括用戶基本特征、用戶興趣特征以及用戶瀏覽行為特征中的一種或多種。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

通過(guò)所述待評(píng)估策略在離線調(diào)研環(huán)境下生成所述離線資源推薦列表。

8.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述方法還包括：

通過(guò)抽樣引擎對(duì)所述線上用戶進(jìn)行抽樣處理，得到與所述線上用戶的用戶分布一致的所述抽樣用戶。

9.一種策略評(píng)估裝置，其特征在于，包括：

離線結(jié)果確定模塊，用于在離線狀態(tài)下，確定與待評(píng)估策略對(duì)應(yīng)的離線資源推薦列表；

用戶特征確定模塊，用于確定抽樣用戶中各個(gè)用戶的用戶特征，其中，所述抽樣用戶的用戶分布與線上用戶的用戶分布一致；

收益指標(biāo)確定模塊，用于基于各個(gè)所述用戶的用戶特征以及所述離線資源推薦列表中各個(gè)資源，確定所述待評(píng)估策略對(duì)應(yīng)的收益評(píng)估指標(biāo)，其中，所述收益評(píng)估指標(biāo)用于對(duì)所述離線資源推薦列表的資源的用戶反饋行為進(jìn)行評(píng)估。