[發明專利]針對推薦策略的A/B測試方法及裝置

有效

• 申請號: 201710818257.1
• 申請日: 2017-09-12
• 公開（公告）號: CN107562632B
• 公開（公告）日: 2020-08-28
• 發明（設計）人: 孫靜波
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: G06F11/36
• 分類號: G06F11/36;G06F11/34
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王寶筠

本發明公開了一種針對推薦策略的A/B測試方法及裝置，為每一個推薦請求分配全局唯一標識號，分別記錄響應每一個推薦請求調用的，包括推薦策略名和對應推薦請求的全局唯一標識號的推薦策略信息，然后收集客戶端返回的pingback信息，該pingback信息中包含其對應的推薦請求的全局唯一標識號，根據全局唯一標識號確定推薦策略名與pingback信息的對應關系，并基于多個確定對應關系的數據進行推薦效果分析。該針對推薦策略的A/B測試方法及裝置，采用全局唯一標識號標記一個請求過程中產生的數據，并利用全局唯一標識號將相關數據關聯起來，基于關聯起來的數據進行效果分析，避免了全路徑策略名的收集，能夠對多層級服務架構中的任意的服務策略進行獨立的效果分析。

技術領域

本發明涉及推薦服務領域，更具體的說，是涉及一種針對推薦策略的A/B測試方法及裝置。

背景技術

推薦服務能夠根據用戶的興趣愛好或搜索意愿，按照一定的推薦策略，為用戶推薦展示出產品信息，便于用戶查看瀏覽。為了提高推薦效果，在推薦策略的選擇上，需要以線上A/B測試結果為基準，判斷推薦策略的推薦效果。在使用某個推薦策略時，當前端展示和點擊推薦策略計算出的推薦內容時，推薦服務系統會收到pingback(自動引用通知)，返回推薦策略名，后續再統計返回的推薦策略名，并根據統計結果判斷推薦策略的推薦效果。

現有的推薦服務架構為層級化的服務架構，在接收到推薦請求后，會調用推薦服務架構中的多個微服務，而每個微服務都有自己的推薦策略和A/B測試需求。現有技術中，在推薦策略的A/B測試階段，收集策略名采用全路徑策略名收集法，例如，一個推薦請求調用微服務的過程是A-B-C，其中每個服務有一個策略名，假設A服務對應的策略名叫a，B服務對應的策略名叫b，C服務對應的策略名叫c，則a+b+c稱為全路徑策略名。但實際情況中，推薦請求的服務調用過程和路徑可能會非常復雜，這就使得最終的全路徑策略名非常龐大復雜，而且間接影響系統運行效率。

發明內容

有鑒于此，本發明提供了一種針對推薦策略的A/B測試方法及裝置，以方便的實現對多層級服務架構下的任意的任務策略進行獨立的效果分析。

為實現上述目的，本發明提供如下技術方案：

一種針對推薦策略的A/B測試方法，包括：

為每一個推薦請求分配全局唯一標識號；

分別記錄響應每一個推薦請求調用的推薦策略信息；所述推薦策略信息包括推薦策略名和推薦策略服務的推薦請求的全局唯一標識號；

收集記錄客戶端根據推薦結果的展示和/或點擊信息返回的pingback信息，所述pingback信息中包含展示和/或點擊的推薦結果服務的推薦請求的全局唯一標識號；

根據全局唯一標識號，確定推薦策略名與pingback信息的對應關系；

基于多個所述確定對應關系的推薦策略名和pingback信息進行推薦效果分析。

可選的，所述記錄響應所述推薦請求調用的推薦策略信息，包括：

通過服務日志收集器記錄響應所述推薦請求調用的推薦策略信息。

可選的，還包括：

基于多個所述確定對應關系的推薦策略名和pingback信息，確定推薦策略名對應的推薦策略的推薦內容的點擊率；

根據所述推薦策略的推薦內容的所述點擊率，確定所述推薦策略的推薦效果。

可選的，在所述基于多個所述確定對應關系的推薦策略名和pingback信息進行推薦效果分析后，還包括：

根據推薦效果分析的結果以及預設規則對推薦策略進行優先級別排序。

一種針對推薦策略的A/B測試裝置，包括：