[發明專利]一種AB測試方法、裝置及電子設備

有效

• 申請號: 202110678800.9
• 申請日: 2021-06-18
• 公開（公告）號: CN113553256B
• 公開（公告）日: 2023-07-14
• 發明（設計）人: 李媛媛;劉剛;王軼凡;賈晉康;于連照;趙明華
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F11/36
• 分類號: G06F11/36
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 王萌

1.一種AB測試方法，包括：

獲取多條對照組數據和多條實驗組數據，其中，所述多條對照組數據是對采用第一方案的測試對象進行監測得到，所述多條實驗組數據是對采用第二方案的測試對象進行監測得到；

對所述多條對照組數據分桶，以得到多桶對照組桶數據，以及對所述多條實驗組數據分桶，以得到多桶實驗組桶數據；

對所述多桶對照組桶數據分別進行多次重抽樣，得到多個第一抽樣指標；

對所述多桶實驗組桶數據分別進行多次重抽樣，得到多個第二抽樣指標；

根據各所述第一抽樣指標與對應的所述第二抽樣指標之間的差異，得到所述多桶對照組桶數據與所述多桶實驗組桶數據之間的相對差異量；

根據所述相對差異量，確定所述第二方案相對所述第一方案的顯著性；

根據所述顯著性，確定所述AB測試的檢驗功效。

2.根據權利要求1所述的AB測試方法，其中，所述獲取多條對照組數據和多條實驗組數據，包括：

在多個周期內對采用第一方案的測試對象進行監測，得到各周期的第一監測數據，以及在多個周期內對采用第二方案的測試對象進行監測，得到各周期的第二監測數據；

根據各周期的第一監測數據的集合，確定所述多條對照組數據；

根據各周期的第二監測數據的集合，確定所述多條實驗組數據。

3.根據權利要求2所述的AB測試方法，其中，所述方法，還包括：

從測試對象的集合中隨機抽取采用第一方案的測試對象，以及隨機抽取采用第二方案的測試對象。

4.根據權利要求1所述的AB測試方法，其中，所述對所述多條對照組數據分桶，以得到多桶對照組桶數據，以及對所述多條實驗組數據分桶，以得到多桶實驗組桶數據，包括：

對所述多條對照組數據進行分桶，生成多桶對照組桶數據；

對所述多條實驗組數據進行分桶，生成多桶實驗組桶數據；

其中，所述對照組桶數據與所述實驗組桶數據的桶個數相同。

5.一種AB測試裝置，包括：

獲取模塊，用于獲取多條對照組數據和多條實驗組數據，其中，所述多條對照組數據是對采用第一方案的測試對象進行監測得到，所述多條實驗組數據是對采用第二方案的測試對象進行監測得到；

分桶模塊，用于對所述多條對照組數據分桶，以得到多桶對照組桶數據，以及對所述多條實驗組數據分桶，以得到多桶實驗組桶數據；

第一抽樣模塊，用于對所述多桶對照組桶數據分別進行多次重抽樣，得到多個第一抽樣指標；

第二抽樣模塊，用于對所述多桶實驗組桶數據分別進行多次重抽樣，得到多個第二抽樣指標；

執行模塊，用于根據各所述第一抽樣指標與對應的所述第二抽樣指標之間的差異，得到所述多桶對照組桶數據與所述多桶實驗組桶數據之間的相對差異量；

第一確定模塊，用于根據所述相對差異量，確定所述第二方案相對所述第一方案的顯著性；

第二確定模塊，用于根據所述顯著性，確定所述AB測試的檢驗功效。

6.根據權利要求5所述的AB測試裝置，其中，所述獲取模塊，包括：

監測單元，用于在多個周期內對采用第一方案的測試對象進行監測，得到各周期的第一監測數據，以及在多個周期內對采用第二方案的測試對象進行監測，得到各周期的第二監測數據；

第一歸納單元，用于根據各周期的第一監測數據的集合，確定所述多條對照組數據；

第二歸納單元，用于根據各周期的第二監測數據的集合，確定所述多條實驗組數據。

7.根據權利要求6所述的AB測試裝置，其中，所述獲取模塊，還包括：

第一抽樣單元，從測試對象的集合中隨機抽取采用第一方案的測試對象，以及隨機抽取采用第二方案的測試對象。