[發明專利]推薦服務的實驗及其管理方法、裝置和系統

有效

• 申請號: 201811475789.0
• 申請日: 2018-12-04
• 公開（公告）號: CN111274117B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 張坤
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F11/36
• 分類號: G06F11/36
• 代理公司: 北京展翼知識產權代理事務所(特殊普通合伙) 11452
• 代理人: 張陽

1.一種用于進行推薦服務實驗的方法，包括：

在模擬線上環境中部署用于推薦目標服務的更新實驗；

在所述模擬線上環境中進行基于真實線上流量信息的流量回放，以獲取針對更新實驗的更新實驗指標；以及

基于所述更新實驗指標確定是否上線所述更新實驗，

其中，所述方法還包括：

獲取用于推薦目標服務的在前實驗的在前實驗線上流量信息；

在所述模擬線上環境中部署用于推薦目標服務的所述在前實驗；

在布置了所述在前實驗的所述模擬線上環境中進行基于所述在前實驗線上流量信息的流量回放，以獲取針對在前實驗的在前實驗指標，并且

所述基于所述更新實驗指標確定是否上線所述更新實驗的步驟還包括：

比較所述在前實驗指標和所述更新實驗指標；以及

根據比較結果確定是否上線所述更新實驗。

2.如權利要求1所述的方法，還包括：

在所述比較結果和/或所述更新實驗指標符合預定閾值要求的情況下，將所述更新實驗修改為上線狀態。

3.如權利要求1所述的方法，其中，所述更新實驗和所述在前實驗是配置變更的相同實驗。

4.如權利要求3所述的方法，其中，所述在前實驗是針對小流量用戶的實驗，所述更新實驗是針對更大流量用戶的實驗。

5.如權利要求1所述的方法，還包括：

從真實流量用例庫中獲取所述真實線上流量信息。

6.如權利要求1所述的方法，其中，所述更新實驗指標是系統性能指標，并且包括如下的至少一項：

CPU延遲；

內存延遲；

emptyQps（為空的每秒查詢數）；以及

degradQps（降級的每秒查詢數）。

7.一種推薦服務實驗管理方法，包括：

在真實線上環境中部署針對推薦目標服務的在前實驗；

在所述在前實驗通過且更新實驗準備就緒的情況下，執行如權利要求1-6中任一項所述的推薦服務實驗的方法。

8.如權利要求7所述的方法，還包括：

基于對上線所述更新實驗的確定，在真實線上環境中進行針對推薦目標服務的所述更新實驗。

9.如權利要求8所述的方法，還包括：

針對后續更新實驗，迭代執行所述推薦服務實驗的方法。

10.如權利要求7所述的方法，其中，在真實線上環境中部署針對推薦目標服務的在前實驗包括：

在真實線上環境中部署各自針對不同目標服務的多個在前實驗，并且，

在所述在前實驗通過且更新實驗準備就緒的情況下，執行如權利要求1-8中任一項所述的推薦服務實驗的方法包括：

在所述多個在前實驗通過且對應的更新實驗準備就緒的情況下，針對每個目標服務各自執行如權利要求1-6中任一項所述的推薦服務實驗的方法。

11.如權利要求10所述的方法，其中，在所述多個在前實驗通過且對應的更新實驗準備就緒的情況下，針對每個目標服務各自執行如權利要求1-8中任一項所述的推薦服務實驗的方法包括：

將準備就緒的更新實驗寫入回歸測試表作為待測項，并將該項的狀態設置為待測；

當正執行如權利要求1-6中任一項所述的推薦服務實驗的方法時，將對應待測項的狀態更改為運行中；以及

基于確定是否上線更新實驗的結果，將對應待測項的狀態更改為成功或失敗。