[發明專利]一種推薦算法的評估方法、裝置、電子設備以及存儲介質

在審

• 申請號: 202210607645.6
• 申請日: 2022-05-31
• 公開（公告）號: CN115114520A
• 公開（公告）日: 2022-09-27
• 發明（設計）人: 郁雙慶;李貞
• 申請（專利權）人: 每平每屋（上海）科技有限公司
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06Q10/06
• 代理公司: 北京清源匯知識產權代理事務所(特殊普通合伙) 11644
• 代理人: 馮德魁

本申請公開了一種推薦算法的評估方法，包括：根據歷史記錄，獲取在對比推薦算法下對應具體推薦場景的歷史推薦結果以及用戶行為記錄；在重建的所述具體推薦場景下，運行待評估推薦算法，返回待評估推薦算法的當前推薦結果；根據對應所述具體推薦場景的所述用戶行為記錄，獲得用戶行為所涉及的目標對象在所述當前推薦結果中的當前順序；將所述目標對象的所述當前順序，與所述歷史推薦結果中所述目標對象出現的歷史順序進行比較，獲得順序差異值；利用達到預定數量要求的不同具體推薦場景下的所述順序差異值，采用預定的評估方案，獲得對所述待評估推薦算法的評估結果。本申請所述推薦算法的評估方法迭代周期短且用戶體驗較好。

技術領域

本申請涉及計算機技術領域，具體涉及一種推薦算法的評估方法、裝置、電子設備以及存儲介質。

背景技術

模型作為設計工具中的核心數據，承載著設計師對設計的表達方式以及設計價值的后續延伸(設計帶單、設計生產等)。在設計工具專業能力不斷提升過程中，僅通過提供查詢、篩選、排序這些比較基礎的搜索能力，難以滿足不同需求方及設計師對找模型效率及模型分發合理性的要求，現有的通過設計域搜索推薦算法建設的項目中，主要是通過行為數據池、實時特征、多路召回、精排、重排等技術手段，期望能實現搜推結果千人千面的效果，讓設計師更快速地選擇到合適的模型。

但如何衡量推薦算法的效果成了測試面臨的問題，測試并不能給出一個客觀的、可量化的一個測試結果。所以目前往往采取線上發布后AB對照測試，通過比較來得到推薦算法的效果，后續再針對AB測試結果去優化推薦算法。

然而，采用上述方式衡量推薦算法的效果，容易導致如下的問題：

1.單次迭代研發周期長，開發/測試-發布-AB測試-繼續迭代優化，因為需要在線上進行較長一段時間的AB測試后才能得到結果，而后再進行后續迭代，所以每次迭代的周期都比較長。

2.影響用戶體驗，每次做AB測試，都可能會或多或少地影響到了用戶的使用體驗。

因此，目前急需一種評估方案，能夠在發布前就能客觀的、可量化、快速迭代地得到推薦算法的效果。

發明內容

本申請提供一種推薦算法的評估方法，以解決現有技術中衡量推薦算法效果的方法不能進行量化評估，以及迭代周期長且用戶體驗差的問題。本申請還提供一種推薦算法的評估裝置、一種電子設備與存儲介質。

本申請提供的推薦算法的評估方法，包括：

根據歷史記錄，獲取在對比推薦算法下對應具體推薦場景的歷史推薦結果以及用戶行為記錄；在重建的所述具體推薦場景下，運行待評估推薦算法，返回待評估推薦算法的當前推薦結果；根據對應所述具體推薦場景的所述用戶行為記錄，獲得用戶行為所涉及的目標對象在所述當前推薦結果中的當前順序；將所述目標對象的所述當前順序，與所述歷史推薦結果中所述目標對象出現的歷史順序進行比較，獲得順序差異值；利用達到預定數量要求的不同具體推薦場景下的所述順序差異值，采用預定的評估方案，獲得對所述待評估推薦算法的評估結果。

可選的，所述用戶行為記錄中至少包括對應所述具體推薦場景，用戶行為所涉及的目標對象在召回條目中的順序；

相應的，所述順序差異值，是指根據用戶行為記錄中，用戶行為所涉及的目標對象，在待評估推薦算法下在召回條目中的順序，與在對比推薦算法下在召回條目中的順序之間的差值。

可選的，所述具體推薦場景是指用戶處于的推薦場景，包括：所處于的推薦環節、所搜索的目標對象、所選擇的推薦條目。

可選的，所述用戶行為所涉及的目標對象包括如下情況中的一種或者多種：

所述用戶實際選擇的目標對象；

所述用戶點擊的目標對象；

與所述用戶實際選擇的目標對象或者與所述用戶點擊的目標對象相類似的可選對象。