[發明專利]模型離線訓練評估方法、裝置、介質和電子設備

有效

• 申請號: 202011217664.5
• 申請日: 2020-11-04
• 公開（公告）號: CN112256768B
• 公開（公告）日: 2021-08-27
• 發明（設計）人: 李嘉晨;郭凱;劉雷
• 申請（專利權）人: 貝殼找房(北京)科技有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/28;G06F16/2457;G06F16/9535;G06Q30/02;G06Q50/16
• 代理公司: 北京思源智匯知識產權代理有限公司 11657
• 代理人: 毛麗琴

1.一種模型離線訓練評估方法，包括：

經由待檢驗點擊通過率模型針對預設集合中的多個用戶的歷史提供信息記錄，分別執行為用戶提供信息操作，獲得多個第一操作結果；

獲取所述多個第一操作結果與相應歷史提供信息記錄中的線上點擊通過率模型執行為用戶提供信息操作的第二操作結果的相似度，獲得多個相似度；

根據所述多個相似度，對所述預設集合中的歷史提供信息記錄進行篩選；

利用篩選出的歷史提供信息記錄，對狀態預測模型進行模擬在線訓練；其中，所述狀態預測模型，用于針對輸入進行預測處理，輸出用戶狀態；所述輸入包括：任一篩選出的歷史提供信息記錄，該歷史提供信息記錄中的用戶的上下文信息、用戶的回饋狀態信息和用戶在提供信息操作后的用戶特征；所述用戶狀態用于反映用戶在系統中的活躍度或者用戶對系統中的信息的關注程度；

根據所述狀態預測模型在模擬在線訓練過程中的輸出，對所述待檢驗點擊通過率模型進行模擬在線訓練，獲得新的點擊通過率模型，所述待檢驗點擊通過率模型被所述新的點擊通過率模型更新，且所述更新后的待檢驗點擊通過率模型用于再次對預設集合中的歷史提供信息記錄進行篩選；

對至少兩次篩選出的歷史提供信息記錄，進行預設性能指標的統計，獲得待檢驗點擊通過率模型的性能指標。

2.根據權利要求1所述的方法，其中：

所述待檢驗點擊通過率模型包括：信息推薦模型、或者信息搜索模型；

所述為用戶提供信息操作包括：信息推薦操作、或者信息搜索操作。

3.根據權利要求1所述的方法，其中，所述經由待檢驗點擊通過率模型針對預設集合中的多個用戶的歷史提供信息記錄，分別執行為用戶提供信息操作，獲得多個第一操作結果，包括：

針對預設集合中的任一用戶的任一歷史提供信息記錄，經由待檢驗點擊通過率模型，分別預測該歷史提供信息記錄中的被提供信息列表中的各被提供信息的點擊概率，預測獲得的所述各被提供信息的點擊概率被作為一第一操作結果。

4.根據權利要求3所述的方法，其中，所述針對預設集合中的任一用戶的任一歷史提供信息記錄，經由待檢驗點擊通過率模型，分別預測該歷史提供信息記錄中的被提供信息列表中的各被提供信息的點擊概率，包括：

針對預設集合中的任一用戶的任一歷史提供信息記錄，將該歷史提供信息記錄中的用戶在提供信息操作前執行的多種類型的行為的行為量特征、用戶在提供信息操作前的用戶偏好以及各被提供信息的信息特征，提供給所述待檢驗點擊通過率模型，以經由所述待檢驗點擊通過率模型預測所述各被提供信息的點擊概率。

5.根據權利要求3所述的方法，其中，所述獲取所述多個第一操作結果與相應歷史提供信息記錄中的線上點擊通過率模型執行為用戶提供信息操作的第二操作結果的相似度，獲得多個相似度，包括：

針對預設集合中的任一歷史提供信息記錄中的被提供信息列表，獲取所述第一操作結果中的該被提供信息列表所包含的所有被提供信息的第一點擊概率，并獲取所述第二操作結果中的該被提供信息列表所包含的所有被提供信息的第二點擊概率；

計算該被提供信息列表中的所有被提供信息的第一點擊概率和第二點擊概率的差值的平方之和，所述和被作為所述相似度。

6.根據權利要求1至5中任一項所述的方法，其中，所述利用篩選出的歷史提供信息記錄，對狀態預測模型進行模擬在線訓練，包括：

針對任一篩選出的歷史提供信息記錄，將該歷史提供信息記錄中的用戶的上下文信息、用戶的回饋狀態信息和用戶在提供信息操作后的用戶特征，提供給所述狀態預測模型，經由所述狀態預測模型的預測處理，獲得該用戶在所述提供信息操作前后的狀態變化；

將多個所述回饋狀態信息和多個所述狀態變化，代入所述狀態預測模型的第一損失函數中，形成所述狀態預測模型的第一損失；

在所述狀態預測模型中反向傳播所述第一損失，以調整所述狀態預測模型的模型參數；

其中，所述用戶的回饋狀態信息為：表示用戶針對被提供信息所執行的反饋行為的信息。