[發明專利]模型離線訓練評估方法、裝置、介質和電子設備

有效

• 申請號: 202011217664.5
• 申請日: 2020-11-04
• 公開（公告）號: CN112256768B
• 公開（公告）日: 2021-08-27
• 發明（設計）人: 李嘉晨;郭凱;劉雷
• 申請（專利權）人: 貝殼找房(北京)科技有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/28;G06F16/2457;G06F16/9535;G06Q30/02;G06Q50/16
• 代理公司: 北京思源智匯知識產權代理有限公司 11657
• 代理人: 毛麗琴

公開了一種模型離線訓練評估方法、裝置、介質以及電子設備。其中的方法包括：經由待檢驗點擊通過率模型對預設集合中的多個歷史提供信息記錄分別執行為用戶提供信息操作，獲得多個第一操作結果；獲取多個第一操作結果與相應第二操作結果的相似度；根據相似度對預設集合中的歷史提供信息記錄進行篩選；利用篩選出的歷史提供信息記錄，對狀態預測模型和待檢驗點擊通過率模型進行模擬在線訓練，獲得新的點擊通過率模型，新的點擊通過率模型用于再次對預設集合中的歷史提供信息記錄進行篩選；對至少兩次篩選出的歷史提供信息記錄，進行預設性能指標的統計，獲得待檢驗點擊通過率模型的性能指標。本公開提供的技術方案有利于提高模型離線訓練效果。

技術領域

本公開涉及計算機技術，尤其是涉及一種模型離線訓練評估方法、模型離線訓練評估裝置、存儲介質以及電子設備。

背景技術

信息推薦以及信息搜索等技術，均涉及向用戶提供相應的信息。在向用戶提供信息的過程中，通常會利用CTR(Click Through Rate，點擊通過率)模型，對多個待提供信息分別進行用戶點擊信息的概率預測，并根據預測出的多個概率對多個待提供信息進行排序，以便于確定向用戶提供的信息。

在CTR模型的應用過程中，通常會利用離線訓練后的CTR模型，作為在線CTR模型的初始化模型，因此，CTR模型的離線訓練效果，會影響在線CTR模型的性能。準確的評估CTR模型的離線訓練效果，從而提高CTR模型的離線訓練效果，是一個值得關注的技術問題。

發明內容

為了解決上述技術問題，提出了本公開。本公開的實施例提供了一種模型離線訓練評估方法、模型離線訓練評估裝置、存儲介質以及電子設備。

根據本公開實施例的一方面，提供了一種模型離線訓練評估方法，該方法包括：經由待檢驗點擊通過率模型針對預設集合中的多個用戶的歷史提供信息記錄，分別執行為用戶提供信息操作，獲得多個第一操作結果；獲取所述多個第一操作結果與相應歷史提供信息記錄中的線上點擊通過率模型執行為用戶提供信息操作的第二操作結果的相似度，獲得多個相似度；根據所述多個相似度，對所述預設集合中的歷史提供信息記錄進行篩選；利用篩選出的歷史提供信息記錄，對狀態預測模型進行模擬在線訓練；根據所述狀態預測模型在模擬在線訓練過程中的輸出，對所述待檢驗點擊通過率模型進行模擬在線訓練，獲得新的點擊通過率模型，所述待檢驗點擊通過率模型被所述新的點擊通過率模型更新，且所述更新后的待檢驗點擊通過率模型用于再次對預設集合中的歷史提供信息記錄進行篩選；對至少兩次篩選出的歷史提供信息記錄，進行預設性能指標的統計，獲得待檢驗點擊通過率模型的性能指標。

在本公開一實施方式中，所述待檢驗點擊通過率模型包括：信息推薦模型、或者信息搜索模型；所述為用戶提供信息操作包括：信息推薦操作、或者信息搜索操作。

在本公開又一實施方式中，所述經由待檢驗點擊通過率模型針對預設集合中的多個用戶的歷史提供信息記錄，分別執行為用戶提供信息操作，獲得多個第一操作結果，包括：針對預設集合中的任一用戶的任一歷史提供信息記錄，經由待檢驗點擊通過率模型，分別預測該歷史提供信息記錄中的被提供信息列表中的各被提供信息的點擊概率，預測獲得的所述各被提供信息的點擊概率被作為一第一操作結果。

在本公開再一實施方式中，所述針對預設集合中的任一用戶的任一歷史提供信息記錄，經由待檢驗點擊通過率模型，分別預測該歷史提供信息記錄中的被提供信息列表中的各被提供信息的點擊概率，包括：針對預設集合中的任一用戶的任一歷史提供信息記錄，將該歷史提供信息記錄中的用戶在提供信息操作前執行的多種類型的行為的行為量特征、用戶在提供信息操作前的用戶偏好以及各被提供信息的信息特征，提供給所述待檢驗點擊通過率模型，以經由所述待檢驗點擊通過率模型預測所述各被提供信息的點擊概率。