[發明專利]模型性能的檢測方法、裝置、計算機設備及存儲介質

在審

• 申請號: 202010597805.4
• 申請日: 2020-06-28
• 公開（公告）號: CN111882347A
• 公開（公告）日: 2020-11-03
• 發明（設計）人: 楊乃君;韓帥;王天駒;葉璨
• 申請（專利權）人: 北京達佳互聯信息技術有限公司
• 主分類號: G06Q30/02
• 分類號: G06Q30/02
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 方高明

本公開關于一種模型性能的檢測方法、裝置、計算機設備及存儲介質。該方法包括：獲取信息展示系統中存儲的各歷史信息展示數據，歷史信息展示數據中至少包括信息展示位的信息；從各歷史信息展示數據中確定出多個樣本數據；通過信息展示系統，檢索與各樣本數據中的信息展示位對應的展示信息；判斷信息展示位與檢索出的展示信息組成的信息組合，是否存在于歷史信息展示數據中；若信息組合存在于歷史信息展示數據中，則獲取信息組合對應的交互信息，其中，交互信息用于表示賬戶與展示信息的交互操作；基于交互信息，確定待測模型的性能檢測結果。本公開可以實現提高賬戶反饋評估模型的評估準確率。

技術領域

本公開涉及計算機技術領域，尤其涉及一種模型性能的檢測方法、裝置、計算機設備及存儲介質。

背景技術

目前，程序化廣告投放已成為互聯網廣告投放的主流模式。基于機器學習技術的賬戶反饋評估模型是程序化廣告投放的核心模型。該賬戶反饋評估模型可以預估某一廣告投放至某一信息展示位時，該廣告的賬戶反饋率，以根據賬戶反饋率來決定該廣告的投放。為了提高賬戶反饋評估模型的精確度，通常信息展示系統會持續用新的廣告數據訓練賬戶反饋評估模型，得到新的賬戶反饋評估模型。新的賬戶反饋評估模型在部署上線前，需要檢測是否相較于舊的賬戶反饋評估模型的精確度更高，若性能提升，則上線新的模型。

傳統評估方案中，將信息展示系統中的歷史信息展示數據劃分為兩部分。一部分為用于訓練賬戶反饋評估模型的訓練集，另一部分為用于測試賬戶反饋評估模型的測試集。訓練集和測試集劃分之后，可以通過訓練集中的歷史信息展示數據對賬戶反饋評估模型進行訓練。訓練結束后，通過測試集中的歷史廣告對賬戶反饋評估模型進行測試，得到測試結果。之后，可以根據測試結果與真實結果之間的差異大小，來評估賬戶反饋評估模型的精確度。

然而，傳統技術中采用大量的歷史信息展示數據對賬戶反饋評估模型進行訓練和測試，存在評估結果不夠準確的缺點。

發明內容

本公開提供一種模型性能的檢測方法、裝置、計算機設備及存儲介質，以解決傳統技術中模型評估準確率低的技術問題。本公開的技術方案如下：

根據本公開實施例的第一方面，提供一種模型性能的檢測方法，所述方法包括：

獲取信息展示系統中存儲的各歷史信息展示數據，其中，所述歷史信息展示數據中至少包括信息展示位的信息；

從各所述歷史信息展示數據中確定出多個樣本數據；

通過所述信息展示系統，檢索與各所述樣本數據中的信息展示位對應的展示信息，其中，所述信息展示系統中設置了待檢測性能的待測模型，所述待測模型用于執行上述檢索處理中的一個或多個操作；

判斷所述信息展示位與檢索出的展示信息組成的信息組合，是否存在于所述歷史信息展示數據中；

若所述信息組合存在于所述歷史信息展示數據中，則獲取所述信息組合對應的交互信息，其中，所述交互信息用于表示賬戶與所述展示信息的交互操作；

基于所述交互信息，確定所述待測模型的性能檢測結果。

作為一種可選的實施方式，所述歷史信息展示數據中還包括展示信息，所述通過所述信息展示系統，檢索與各所述樣本數據中的信息展示位對應的展示信息，包括：

通過所述信息展示系統中設置的多個檢索算法，從信息庫中檢索與各所述信息展示位的特征相匹配的展示信息；其中，所述待測模型中設置有一個或多個所述檢索算法。

作為一種可選的實施方式，所述獲取所述信息組合對應的交互信息，包括：

獲取所述待測模型的性能檢測維度；

讀取各所述信息組合對應所述性能檢測維度的屬性值；

將各所述信息組合屬性值的平均值確定為所述交互信息的屬性值。