[發明專利]AB實驗集成方法及系統

在審

• 申請號: 202110156820.X
• 申請日: 2021-02-04
• 公開（公告）號: CN112817856A
• 公開（公告）日: 2021-05-18
• 發明（設計）人: 楊白冰
• 申請（專利權）人: 上海嗶哩嗶哩科技有限公司
• 主分類號: G06F11/36
• 分類號: G06F11/36;G06F9/50
• 代理公司: 北京英特普羅知識產權代理有限公司 11015
• 代理人: 鄧小玲

本申請公開了一種AB實驗集成方法，該方法包括：中心服務端配置所述AB實驗的分流規則；將所配置的所述分流規則傳送至所述本地服務端，以使所述本地服務端的分流引擎根據所述分流規則對所連接的多個客戶端進行分組計算并為各個分組的所述客戶端分配相應的實驗任務；接收所述本地服務端上報的分組信息和實驗數據；根據所述分組信息和所述實驗數據進行實時的分析處理并展示給用戶查看。本申請還公開了一種AB實驗集成系統、電子裝置和計算機可讀存儲介質。由此，能夠提供一個快速且分布式的AB實驗方案。

技術領域

本申請涉及數據處理技術領域，尤其涉及一種AB實驗集成方法、系統、電子裝置及計算機可讀存儲介質。

背景技術

AB實驗是一種隨機實驗，通常有兩個變體(A組和B組)，利用控制變量法保持有單一變量的前提下，將A組和B組數據進行對比，得出實驗結論。這種實驗方法被廣泛應用在互聯網產品中進行產品優化。

現代互聯網產品在龐大的用戶群體下，無法快速的決策某項功能的正確性以及最優方案，所以一個快速且有效的AB實驗方案對整個產品的更迭優化起著至關重要的作用。大到內容的分發算法策略，小到一個按鈕顏色以及文案變更帶來的用戶差異，均可以采用AB實驗后的數據驗證。一般情況下，是為同一個優化目標制定兩個方案，讓同一用戶群體中的一部分用戶命中A方案，同時另一部分用戶命中B方案，統計并比較不同方案的點擊率、轉化率等數據指標，通過不同方案的數據表現，在確定數據表現通過假設檢驗后決定最終方案。

但是，各大互聯網公司現有的絕大多數的AB實驗平臺都會遇到數據收集和接入方不友好的問題。因此往往都是采用的線上配置實驗，線下計算數據的方式來進行對應的AB實驗，這樣帶來的問題是人效低下，會有大量重復工作。并且，實驗過程中可能遇到的多層多組實驗的相互影響問題，會影響到最終的數據結果，導致判斷不夠準確。

需要說明的是，上述內容并不用于限制申請保護范圍。

發明內容

本申請的主要目的在于提出一種AB實驗集成方法、系統、電子裝置及計算機可讀存儲介質，旨在解決至少一個上述問題。

為實現上述目的，本申請實施例提供了一種AB實驗集成方法，應用于中心服務端，所述中心服務端與一個或多個本地服務端通信連接，所述方法包括：

配置所述AB實驗的分流規則；

將所配置的所述分流規則傳送至所述本地服務端，以使所述本地服務端的分流引擎根據所述分流規則對所連接的多個客戶端進行分組計算并為各個分組的所述客戶端分配相應的實驗任務；

接收所述本地服務端上報的根據所述分組計算得到的分組信息和所述客戶端的實驗數據；及

根據所述分組信息和所述實驗數據進行實時的分析處理并展示給用戶查看。

可選地，所述分流規則的配置通過語法決策樹實現，支持按照多維度信息及多種算法進行動態化配置。

可選地，所述配置所述AB實驗的分流規則包括：

通過多叉樹的數據結構配置多層級的分組實驗，并通過在所述分流規則中加入隨機鹽實現同一個所述客戶端在不同實驗中的正交。

可選地，所述配置所述AB實驗的分流規則還包括：

在所述AB實驗的運行過程中實時調配流量占比。

此外，為實現上述目的，本申請實施例還提供一種AB實驗集成系統，應用于中心服務端，所述系統包括：

配置模塊，用于配置所述AB實驗的分流規則；

傳送模塊，用于將所配置的所述分流規則傳送至所述本地服務端，以使所述本地服務端的分流引擎根據所述分流規則對所連接的多個客戶端進行分組計算并為各個分組的所述客戶端分配相應的實驗任務；