[發明專利]一種數據預測方法、裝置、電子設備及存儲介質

在審

• 申請號: 202010153163.9
• 申請日: 2020-03-06
• 公開（公告）號: CN111476629A
• 公開（公告）日: 2020-07-31
• 發明（設計）人: 孫慧楠;王興星;王永康
• 申請（專利權）人: 北京三快在線科技有限公司
• 主分類號: G06Q30/06
• 分類號: G06Q30/06;G06Q10/06;G06Q10/04;G06N20/00;G06N3/08;G06N3/04
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 任亞娟

本申請提供了一種數據預測方法、裝置、電子設備及存儲介質。所述方法，包括：針對目標場景中任意一個可選的模型，獲取目標場景的評估樣本、每個評估樣本對應的真實值，以及模型針對每個評估樣本的預估值，目標場景包括針對目標參數的期望最大化場景；根據以每個評估樣本的預估值為參照的第一排序方式，對評估樣本進行排序，并根據本次排序后的任意相鄰的兩個評估樣本對應的真實值的差值，獲取模型的第一評估參數；根據每個模型的第一評估參數和第二評估參數，確定與目標場景適配的目標模型；通過目標模型獲取目標場景中任一對象的目標參數的預測數據。從而提出一種更合理準確的評估方式，以為不同場景適配模型，進而提高數據預測結果的準確性。

技術領域

本申請涉及機器學習技術領域，尤其涉及一種數據預測方法、裝置、電子設備及存儲介質。

背景技術

在機器學習中，我們對訓練好的模型需要有一個離線評估的方式，在上線之前可以對比模型的好壞。尤其是收益最大化、點擊率最大化等預期最大化的應用場景中，所選用的模型性能的好壞至關重要。

以廣告GMV(Gross MerchandiseVolume，網站成交金額)預估為例，為了增加網站成交金額，可以給用戶推薦金額較大的商品，這里模型預估的是網站中商品價格，目前一般用RMSE(RootMean Squard Error，平方根誤差)作為模型的衡量指標，以評估模型預估出的值是否接近真實值。另一方面，在進行商品推薦時，為了實現收益最大化，需要將交易成功率較高的對象進行優先推薦，也即放在推薦列表中的前端。目前常用AUC來評估模型是否將正負樣本預估準確。其中，ROC(Receiver Operating Characteristic)曲線和AUC常被用來評價一個二值分類器(binary classifier)的優劣，ROC曲線下面的面積就是AUC的值。但是，RMSE無法衡量模型是否能夠優先推薦滿足期望最大化的對象，而AUC也無法衡量出不同排列方式的差異，也即相關技術方案中無法準確預估不同模型在同一場景中的性能優劣，進而很難適配合適的模型，從而導致模型預測結果的準確性不高。

發明內容

本申請實施例提供一種數據預測方法、裝置、電子設備及存儲介質，以解決相關技術中模型預測結果準確性不高的問題。

為了解決上述技術問題，本申請是這樣實現的：

第一方面，本申請實施例提供了一種數據預測方法，包括：

針對目標場景中任意一個可選的模型，獲取所述目標場景的評估樣本、每個所述評估樣本對應的真實值，以及所述模型針對每個所述評估樣本的預估值，所述目標場景包括針對目標參數的期望最大化場景，所述目標參數包括質量參數、屬性參數、操作參數中的至少一種；

根據以每個所述評估樣本的預估值為參照的第一排序方式，對所述評估樣本進行排序，并根據本次排序后的任意相鄰的兩個評估樣本對應的真實值的差值，獲取所述模型的第一評估參數；

根據以每個所述評估樣本的真實值為參照的第二排序方式，對所述評估樣本進行排序，并根據本次排序后的任意相鄰的兩個評估樣本對應的真實值的差值，獲取所述模型的第二評估參數；

根據每個所述模型的所述第一評估參數和所述第二評估參數，確定與所述目標場景適配的目標模型；

通過所述目標模型獲取所述目標場景中任一對象的目標參數的預測數據。

第二方面，本申請實施例提供了一種數據預測裝置，包括：

評估數據獲取模塊，用于針對目標場景中任意一個可選的模型，獲取所述目標場景的評估樣本、每個所述評估樣本對應的真實值，以及所述模型針對每個所述評估樣本的預估值，所述目標場景包括針對目標參數的期望最大化場景，所述目標參數包括質量參數、屬性參數、操作參數中的至少一種；