[發明專利]策略評估方法、裝置、設備及存儲介質

在審

• 申請號: 202010075759.1
• 申請日: 2020-01-22
• 公開（公告）號: CN113159810A
• 公開（公告）日: 2021-07-23
• 發明（設計）人: 賈晉康;陳冠霖;李世雷;王軼凡;張釙;朱弘哲;段雨佑;王雪穎
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G06Q30/02
• 分類號: G06Q30/02;G06Q30/06;G06Q10/06
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 朱穎;臧建明

本申請公開了一種策略評估方法、裝置、設備及存儲介質，該方法包括：在離線狀態下，確定與待評估策略對應的離線資源推薦列表；確定抽樣用戶中各個用戶的用戶特征，其中，抽樣用戶的用戶分布與線上用戶的用戶分布一致；基于各個用戶的用戶特征以及離線資源推薦列表中各個資源，確定待評估策略對應的收益評估指標，其中，收益評估指標用于對離線資源推薦列表的資源的用戶反饋行為進行評估。本申請實施例的技術方案，能夠降低線上流量流轉周期，不斷提升線下調研的效率，而且能夠提高用戶體驗以及用戶忠誠度，避免用戶流失。

技術領域

本申請涉及大數據技術領域，尤其涉及一種策略評估方法、裝置、設備及存儲介質。

背景技術

目前，互聯網信息流產品的應用越來越廣泛，信息流產品采用推薦算法或推薦策略向用戶推薦內容，如何對推薦算法或推薦策略的效果進行評估成為了關注的焦點。

在一種技術方案中，針對一個推薦策略，通過在線控制小流量實驗的方式來對該推薦策略進行評估。在線控制小流量實驗(又稱AB測試小流量評估實驗)是指隨機選取一定比例的用戶(流量)，將選取的用戶分為兩組，稱為A組、B組。其中，讓A組用戶使用該推薦策略上線前即迭代前的信息流產品，讓B組用戶使用該推薦策略上線后即迭代后的信息流產品，并對A組用戶和B組用戶使用信息流產品的反饋行為數據進行存儲，基于兩組用戶的反饋行為數據，對該推薦策略上線后的效果進行評估。

然而，隨著信息流產品變得越來越復雜，在這種技術方案中，一方面，由于優化算法或策略逐漸增多，策略的調整越來越精細化，導致線上小流量實驗的流量流轉周期變長，大幅降低了研發效率；另一方面，未經效果評估的策略上線，容易導致用戶體驗變差，造成用戶流失。

發明內容

本申請實施例提供一種策略評估方法、裝置、設備及存儲介質，用于解決由于策略增多導致線上小流量實驗的流量流轉周期變長，以及未經評估的策略上線容易導致用戶流失的問題。

第一方面，本申請提供一種策略評估方法，包括：在離線狀態下，確定與待評估策略對應的離線資源推薦列表；確定抽樣用戶中各個用戶的用戶特征，其中，所述抽樣用戶的用戶分布與線上用戶的用戶分布一致；基于各個所述用戶的用戶特征以及所述離線資源推薦列表中各個資源，確定所述待評估策略對應的收益評估指標，其中，所述收益評估指標用于對所述離線資源推薦列表的資源的用戶反饋行為進行評估。

在本申請的一些示例實施例中，基于上述方案，所述基于各個所述用戶的用戶特征以及所述離線資源推薦列表中各個資源，確定所述待評估策略對應的收益評估指標，包括：基于各個所述用戶的用戶特征以及所述離線資源推薦列表中各個資源的資源特征，預測各個所述用戶對各個所述資源的用戶反饋行為；對各個所述用戶對各個所述資源的所述用戶反饋行為進行統計，得到統計結果；基于所述統計結果，確定所述待評估策略對應的所述收益評估指標。

在本申請的一些示例實施例中，基于上述方案，所述方法還包括：確定所述離線資源推薦列表中各個資源的資源類型；對所述離線資源推薦列表中各個類型的資源進行統計，得到統計結果；基于所述統計結果，確定所述待評估策略對應的護欄指標，其中，所述護欄指標用于對所述待評估策略對應的資源的排序以及召回進行評估。

在本申請的一些示例實施例中，基于上述方案，所述方法還包括：獲取所述待評估策略上線之前的基線資源推薦列表；基于各個所述用戶的用戶特征以及所述基線資源推薦列表中各個資源，確定所述待評估策略上線之前的基線收益評估指標；將所述基線收益評估指標與所述待評估策略對應的所述收益評估指標進行對比，得到對比結果；基于所述對比結果對所述待評估策略進行調整。

在本申請的一些示例實施例中，基于上述方案，所述方法還包括：獲取所述待評估策略上線之后的上線資源推薦列表；基于各個所述用戶的用戶特征以及所述上線資源推薦列表中各個資源，確定所述待評估策略上線之后的上線收益評估指標；將所述上線收益評估指標與所述待評估策略對應的所述收益評估指標進行對比，得到對比結果；基于所述對比結果對所述待評估策略進行調整。