[發明專利]AB測試系統指標置信區間的計算方法、裝置和服務器

有效

• 申請號: 201810266136.5
• 申請日: 2018-03-28
• 公開（公告）號: CN108415845B
• 公開（公告）日: 2019-05-31
• 發明（設計）人: 敖紅波;楊水石;黃柏翔
• 申請（專利權）人: 北京達佳互聯信息技術有限公司
• 主分類號: G06F11/36
• 分類號: G06F11/36
• 代理公司: 北京市立方律師事務所 11330
• 代理人: 劉延喜

本發明涉及計算機技術領域，公開了一種AB測試系統指標置信區間的計算方法、裝置和服務器。該AB測試系統指標置信區間的計算方法包括以下步驟：將AB測試系統管理的流量進行第一預設值次全局劃分，得到各次全局劃分下對應分成的若干個組，所述各次全局劃分之間相互平行；計算各次全局劃分對應的若干個組對應的指標值，得到各次全局劃分相應數量的若干個數值；根據從各次全局劃分的若干數值中隨機抽取的數值，得到各次全局劃分中第二預設值個分組大小對應的差異值；合并各次全局劃分中所述第二預設值個分組大小對應的差異值；根據合并后的差異值，得到置信區間。本發明提高了置信區間本身的準確性，對AB測試系統指標變化的置信程度提供更可靠的支持。

技術領域

本發明涉及計算機技術領域，特別是涉及一種AB測試系統指標置信區間的計算方法、裝置和服務器。

背景技術

隨著互聯網應用的深入發展，人類逐漸從信息匱乏的時代邁進了信息大爆炸的新紀元，互聯網上浩如煙海的新聞咨詢以及玲瑯滿目的視頻信息讓徜徉在網絡世界中的人們無從選擇。信息大爆炸的時代背景下，有效和無效信息并存，這導致人們獲取對自己有益信息的代價大增，因此如何更加準確的幫助用戶獲取到有益信息成了互聯網時代核心技術之一，也正是在這個大背景下，推薦系統應運而生了。推薦系統的核心使命就是盡最大可能給用戶提供其喜歡的或對其有益的信息，避免用戶被淹沒在無效信息的海洋中。推薦系統在互聯網新聞，短視頻，電子商務等領域應用廣泛，是一種動態變化的系統，通過獲取用戶對系統所推薦內容的行為信息，不斷優化內部策略和算法，提升推薦質量和用戶體驗，使用戶受益。其中，推薦系統推薦質量的優化是通過不間斷的算法和策略迭代來實現的，而算法和策略的迭代又是通過AB測試來完成的。AB測試指在推薦系統中有算法A和B，想要評估A和B兩個算法哪個效果更好，需要先定義一系列指標，例如點擊率等，然后通過在不同用戶組上分別使用算法A和算法B進行線上內容推薦，并且評估使用了特定算法的組中的指標值，用來判斷算法A和算法B孰優孰劣。AB測試是一種評估算法或策略效果，實現算法或策略迭代的核心方法，AB測試系統正是實施AB測試方案的一種系統。使用AB測試系統的實驗實施者提供可靠的指標數據用于判斷不同用戶組上所采用的算法的優劣。由于不同用戶組在使用AB測試系統中，不同用戶組上的指標數值可能產生完全相反的變化趨勢，則使得無法直接根據不同用戶組上的指標數值變化來用來判斷算法A和算法B孰優孰劣。

對于上述問題，在現有技術中，將置信區間應用在AB測試系統的指標分析中，通過分別計算各個指標的變化率的置信區間，可以獲得各個指標的變化率的置信度，通過各個指標差異的置信度來判斷哪一個指標的變化率才更加可信，進而用以判斷算法A和算法B孰優孰劣。而置信區間的計算方法有兩種，其一在實際的AB測試中，由于需要求取置信區間的指標的分布在一般情況下未知，則首先需要先假定一個總體分布，然后通過統計學方法得到一個指標滿足的復雜分布，再構造統計量，獲得相關參數，但實際情況中，各自服從的指標分布可能有差異，因此無法用統一的解決方案求解所有指標的置信區間，而需要逐個指標按照特定情況計算，成本極大，使用也不方便；其二采用bootstrap方法，用經驗分布去近似真正的分布，但該方法針對AB測試只在開始時進行一次全局流量劃分，然后以該劃分為標準進行后續置信區間的計算，使得采用模擬的指標的經驗分布求得的置信區間偏窄，導致指標值在不進行任何實驗策略改進的兩個正交分組中的差異較為顯著，容易誤導了實驗實施者對指標差異可信程度的判定。

對此，亟需提出一種求取高準確度置信區間的方法。

發明內容

本發明提供AB測試系統指標置信區間的計算方法、裝置和服務器，提高了置信區間本身的準確性，對AB測試系統指標變化的置信程度提供更可靠的支持。

第一方面，本發明提供了一種AB測試系統指標置信區間的計算方法，包括以下步驟：

將AB測試系統管理的流量進行第一預設值次全局劃分，得到各次全局劃分下對應分成的若干個組，所述各次全局劃分之間相互平行；