[發(fā)明專利]實驗結果的確定方法、裝置、設備及存儲介質

有效

• 申請?zhí)枺?/td>: 202110633686.8
• 申請日: 2021-06-07
• 公開（公告）號: CN113254882B
• 公開（公告）日: 2023-02-10
• 發(fā)明（設計）人: 陳坤龍
• 申請（專利權）人: 廣州市百果園網(wǎng)絡科技有限公司
• 主分類號: G06F17/18
• 分類號: G06F17/18
• 代理公司: 北京三高永信知識產(chǎn)權代理有限責任公司 11138
• 代理人: 邢少真

本申請公開了一種實驗結果的確定方法、裝置、設備及存儲介質，屬于計算機技術領域。所述方法包括：獲取AB實驗中的用戶實驗數(shù)據(jù)；基于用戶實驗數(shù)據(jù)，獲取實驗組在n個評分指標下的均值后驗分布，以及對照組在n個評分指標下的均值后驗分布；基于實驗組在n個評分指標下的均值后驗分布，確定實驗組對應的評分，以及基于對照組在n個評分指標下的均值后驗分布，確定對照組對應的評分；將實驗組對應的評分和對照組對應的評分進行比對，得到AB實驗結果。本申請通過基于多個評分指標下的均值后驗分布，確定實驗組和對照組各自的評分，進而基于評分確定出較優(yōu)的一組，實現(xiàn)了多評分指標下的AB實驗結果的自動化確定，提高了AB實驗結果的確定效率。

技術領域

本申請實施例涉及計算機技術領域，特別涉及一種實驗結果的確定方法、裝置、設備及存儲介質。

背景技術

在互聯(lián)網(wǎng)場景中，設計者們可以通過AB實驗平臺來測試新產(chǎn)品、新方案等的優(yōu)劣。

以直播場景為例，設計者們通過AB實驗平臺以隨機化實驗的方式對新產(chǎn)品和當前在線產(chǎn)品進行比對。例如，以均勻劃分的方式將用戶分成實驗組和對照組，實驗組對應新產(chǎn)品，對照組對應當前在線產(chǎn)品，然后統(tǒng)計諸如用戶瀏覽量、用戶留存時長、人均觀看時長、基礎互動率等評分指標下的數(shù)據(jù)，最后對實驗組和對照組分別在某一評分指標下的數(shù)據(jù)進行比對，確定出該評分指標下的AB實驗結果。

然而，上述隨機化實驗的方式是基于單變量的假設校驗，也即一次只能比較一個維度的評分指標，在有多維度的評分指標的情況下，需要人工結合各個評分指標下的AB實驗結果進行比對，得到最終的AB實驗結果，AB實驗結果的確定效率不高。

發(fā)明內(nèi)容

本申請實施例提供了一種實驗結果的確定方法、裝置、設備及存儲介質，能夠基于多維度的評分指標以量化的方式自動化生成AB實驗結果，提高AB實驗結果的確定效率以及合理性。所述技術方案如下：

根據(jù)本申請實施例的一個方面，提供了一種實驗結果的確定方法，所述方法包括：

獲取AB實驗中的用戶實驗數(shù)據(jù)；其中，所述用戶實驗數(shù)據(jù)包括實驗組和對照組分別在n個評分指標下的實驗數(shù)據(jù)，所述n為正整數(shù)；

基于所述實驗組在所述n個評分指標下的實驗數(shù)據(jù)，獲取所述實驗組在所述n個評分指標下的均值后驗分布，以及基于所述對照組在所述n個評分指標下的實驗數(shù)據(jù)，獲取所述對照組在所述n個評分指標下的均值后驗分布，所述均值后驗分布是指所述評分指標下的實驗數(shù)據(jù)的均值的后驗概率分布；

基于所述實驗組在所述n個評分指標下的均值后驗分布，確定所述實驗組對應的評分，以及基于所述對照組在所述n個評分指標下的均值后驗分布，確定所述對照組對應的評分；

將所述實驗組對應的評分和所述對照組對應的評分進行比對，得到所述AB實驗結果。

根據(jù)本申請實施例的一個方面，提供了一種實驗結果的確定裝置，所述裝置包括：

獲取AB實驗中的用戶實驗數(shù)據(jù)；其中，所述用戶實驗數(shù)據(jù)包括實驗組和對照組分別在n個評分指標下的實驗數(shù)據(jù)，所述n為正整數(shù)；

基于所述實驗組在所述n個評分指標下的實驗數(shù)據(jù)，獲取所述實驗組在所述n個評分指標下的均值后驗分布，以及基于所述對照組在所述n個評分指標下的實驗數(shù)據(jù)，獲取所述對照組在所述n個評分指標下的均值后驗分布，所述均值后驗分布是指所述評分指標下的實驗數(shù)據(jù)的均值的后驗概率分布；

基于所述實驗組在所述n個評分指標下的均值后驗分布，確定所述實驗組對應的評分，以及基于所述對照組在所述n個評分指標下的均值后驗分布，確定所述對照組對應的評分；

將所述實驗組對應的評分和所述對照組對應的評分進行比對，得到所述AB實驗結果。