[發明專利]推薦服務的實驗及其管理方法、裝置和系統

有效

• 申請號: 201811475789.0
• 申請日: 2018-12-04
• 公開（公告）號: CN111274117B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 張坤
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F11/36
• 分類號: G06F11/36
• 代理公司: 北京展翼知識產權代理事務所(特殊普通合伙) 11452
• 代理人: 張陽

本發明公開了一種推薦服務的實驗及其管理方法、裝置和系統。該實驗方法包括：在模擬線上環境中部署用于推薦目標服務的更新實驗；在所述模擬線上環境中進行基于真實線上流量信息的流量回放，以獲取針對更新實驗的更新實驗指標；以及基于所述更新實驗指標，確定是否上線所述更新實驗。由此，通過針對同一推薦服務的后續實驗進行模擬線上環境的回歸測試，能夠在后續實驗上線前找出推薦服務本身的潛在問題，從而避免不必要的上線，提升實驗效率并確保用戶體驗。

技術領域

本發明涉及互聯網領域，尤其涉及一種用于進行推薦服務的實驗及其管理方法、裝置和系統。

背景技術

在互聯網時代，需要不斷優化網絡產品(Web頁面或是APP)的用戶使用和瀏覽體驗，以保持甚至提升點擊率與轉化率。為此，需要不斷推出新的功能，使用優化的后臺算法，更換應景的顯示風格等。上述優化或更新都可以看作是系統針對用戶推薦的新服務。

上述推薦服務在全流量上線之前，通常需要測試用戶對上述推薦服務的反應，以確定是否上線服務或是確定該服務下一步的優化方向。上述針對不同真實用戶的測試可被稱為“推薦服務實驗”，例如，A/B實驗和灰度實驗。

針對同一目標推薦服務的實驗通常需要在不同的實驗配置之下多次執行。在現有技術中，由于對推薦服務的測試通常在投放實驗之前，因此無法避免后續實驗中由推薦服務本身而非用戶對其喜好所導致的問題。

為此，需要一種能夠優化推薦服務上線的方案。

發明內容

為了解決如上至少一個問題，本發明提出了一種用于進行推薦服務實驗的方法，其通過針對同一推薦服務的后續實驗進行模擬線上環境的回歸測試，能夠在后續實驗上線前找出推薦服務本身的潛在問題，從而避免不必要的上線，提升實驗效率并確保用戶體驗。

根據本發明的一個方面，提供了一種用于進行推薦服務實驗的方法，包括：在模擬線上環境中部署用于推薦目標服務的更新實驗；在所述模擬線上環境中進行基于真實線上流量信息的流量回放，以獲取針對更新實驗的更新實驗指標；以及基于所述更新實驗指標，確定是否上線所述更新實驗。

可選地，該方法還可以包括：獲取用于推薦目標服務的在前實驗的在前實驗線上流量信息，并且在所述模擬線上環境中進行流量回放基于的所述真實線上流量信息包括所述在前實驗線上流量信息。

可選地，該方法還可以包括：在模擬線上環境中部署用于推薦目標服務的所述在前實驗；在布置了所述在前實驗的所述模擬線上環境中進行基于所述在前實驗線上流量信息的流量回放，以獲取針對在前實驗的在前實驗指標，并且所述基于所述更新指標，確定是否上線所述更新實驗的步驟還包括：比較所述在前實驗指標和所述更新實驗指標；以及根據所述比較結果確定是否上線所述更新實驗。

可選地，該方法還可以包括：在所述比較結果和/或所述更新實驗指標符合預定閾值要求的情況下，將所述更新實驗修改為上線狀態。

可選地，所述更新實驗和所述在前實驗的配置變更的相同實驗。

可選地，所述在前實驗是針對小流量用戶的實驗，所述更新實驗是針對更大流量用戶的實驗。

可選地，該方法還可以包括：從真實流量用例庫中獲取所述真實線上流量信息。

可選地，所述更新實驗指標可以是系統性能指標，并且可以包括如下的至少一項：CPU延遲；內存延遲；emptyQps(為空的每秒查詢數)；以及degradQps(降級的每秒查詢數)。

根據本發明的另一方面，還提供了一種推薦服務實驗管理方法，包括：在真實線上環境中部署針對推薦目標服務的在前實驗；在所述在前實驗通過且更新實驗準備就緒的情況下，執行如上任一項所述的推薦服務實驗的方法。

可選地，該方法還可以包括：基于對上線所述更新實驗的確定，在真實線上環境中進行針對推薦目標服務的所述更新實驗。