[發明專利]廣告預估模型的上線評估方法及相關裝置

在審

• 申請號: 202010872195.4
• 申請日: 2020-08-26
• 公開（公告）號: CN112070530A
• 公開（公告）日: 2020-12-11
• 發明（設計）人: 胡樂
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06Q30/02
• 分類號: G06Q30/02
• 代理公司: 深圳市隆天聯鼎知識產權代理有限公司 44232
• 代理人: 魏學昊

1.一種廣告預估模型的上線評估方法，其特征在于，包括：

獲取廣告的特征數據集，并將所述特征數據集中特殊數據所來源的廣告劃分為訓練組與評估組，其中，所述特征數據集中包括訓練數據集及預測數據集；

從所述訓練數據集中獲取對應于所述訓練組的子訓練數據集，并從所述預測數據集中獲取對應于所述評估組的子預測數據集；

利用所述子訓練數據集訓練線上廣告預估模型及待上線廣告預估模型，并使用所述子預測數據集進行預測，得到所述線上廣告預估模型的第一預測結果及所述待上線廣告預估模型的第二預測結果；

比較所述第一預測結果與所述第二預測結果，得到所述待上線廣告預估模型的第一上線評估結果。

2.根據權利要求1所述的方法，其特征在于，所述將所述特征數據集中特征數據所來源的廣告劃分為訓練組與評估組，包括：

利用所述特征數據集中所包含特征數據對所述廣告進行聚類，得到多個廣告聚類簇；

將所述廣告聚類簇劃分為兩組，得到所述訓練組及所述評估組。

3.根據權利要求1所述的方法，其特征在于，所述比較所述第一預測結果與所述第二預測結果，得到所述待上線廣告預估模型的第一上線評估結果，包括：

根據所述第一預測結果計算對應于所述線上廣告預估模型的第一AUC結果；

根據所述第二預測結果計算對應于所述待上線廣告預估模型的第二AUC結果；

比較所述第一AUC結果及所述第二AUC結果，得到所述待上線廣告預估模型的第一上線評估結果。

4.根據權利要求3所述的方法，其特征在于，所述根據所述第一預測結果計算對應于所述線上廣告預估模型的第一AUC結果，包括：

獲取所述子預測數據集中各廣告在所來源排序階段中的占比，并根據所述占比確定各所述廣告對應的加權系數，所述排序階段指示廣告展示生命周期中應用廣告預估模型對廣告進行評價排序的階段；

根據所述子預測數據集中各廣告在所述第一預測結果中對應的預測結果，計算對應于各所述廣告的第一子AUC結果；

基于各所述廣告對應的所述加權系數，計算所述子預測數據集中所有廣告對應的所述第一子AUC結果的加權和，得到所述第一AUC結果。

5.根據權利要求4所述的方法，其特征在于，所述根據所述第二預測結果計算對應于所述待上線廣告預估模型的第二AUC結果，包括：

根據所述子預測數據集中各廣告在所述第二預測結果中對應的預測結果，計算對應于各所述廣告的第二子AUC結果；

基于各所述廣告對應的所述加權系數，計算所述子預測數據集中所有廣告對應的所述第二子AUC結果的加權和，得到所述第二AUC結果。

6.根據權利要求1所述的方法，其特征在于，所述方法還包括：

利用所述訓練數據集訓練線上廣告預估模型及待上線廣告預估模型，并使用所述預測數據集進行預測，得到所述線上廣告預估模型的第三預測結果及所述待上線廣告預估模型的第四預測結果；

獲取所述預測數據集中各廣告在所來源排序階段中的占比，并根據所述占比確定各所述廣告對應的加權系數，所述排序階段指示廣告展示生命周期中應用廣告預估模型對廣告進行評價排序的階段；

根據所述第三預測結果及所述加權系數計算第三AUC結果，并根據所述第四預測結果及所述加權系數計算第四AUC結果，以通過比較所述第三AUC結果及所述第四AUC結果得到所述待上線廣告預估模型的第二上線評估結果。

7.根據權利要求6所述的方法，其特征在于，所述根據所述第三預測結果及所述加權系數計算第三AUC結果，包括：

根據所述預測數據集中各廣告在所述第三預測結果中對應的預測結果，計算對應于各所述廣告的第三子AUC結果；

基于各所述廣告對應的所述加權系數，計算所述預測數據集中所有所述廣告對應的所述第三子AUC結果的加權和，得到所述第三AUC結果。