[發明專利]測試的執行方法及裝置、電子設備、存儲介質

有效

• 申請號: 202110273211.2
• 申請日: 2021-03-12
• 公開（公告）號: CN112905476B
• 公開（公告）日: 2023-08-11
• 發明（設計）人: 周逸恒;胡志鵬
• 申請（專利權）人: 網易(杭州)網絡有限公司
• 主分類號: G06F11/36
• 分類號: G06F11/36
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 鐘揚飛

本申請提供一種測試的執行方法及裝置、電子設備、計算機可讀存儲介質，該方法包括：依據候選用戶集中的多個用戶在指定時間段的指定特征參數，構建用戶對應的時間序列；計算多個用戶的時間序列之間的相似度；依據多個相似度從所述候選用戶集中篩選出多個受試用戶；將所述受試用戶劃分至預設數量的用戶分組；根據所述用戶分組執行針對待測方案的測試任務。本方案以時間序列篩選出最為相似的多個受試用戶后，對劃分至各分組的受試用戶執行針對待測方案的測試任務，可以在執行AB測試時可以得到各待測方案普遍性的效果，避免了用戶群體差異對測試產生的影響。

技術領域

本申請涉及大數據領域，特別涉及一種測試的執行方法及裝置、電子設備、計算機可讀存儲介質。

背景技術

在大數據應用領域中，AB測試是重要的優化迭代工具。AB測試將總流量樣本劃分至兩組或多組，然后為各個分組的流量提供不同版本的產品。示例性的，A為原方案，B為待評估的迭代方案，則將總流量樣本劃分為兩組，為一組提供A方案，為另一組提供B方案。經過一段時間的運營后，收集各組用戶的行為數據，從而依據行為數據對各組對應產品的收益進行分析，為最終產品的設計和迭代提供決策依據。

在相關技術中，一般通過隨機分配的方式進行分組，以確定受試組中用戶名單。示例性的，可以對用戶UUID(Universally?Unique?Identifier，通用唯一識別碼)的最后一位數字進行取模，以取模結果確定用戶所在的受試組。

上述分組方法沒有考慮用戶特征。不同的用戶具有不同的行為模型，對于同一迭代方案也會有不同的反應。如果以隨機分配的方式進行分組，可能會因為不同受試組中用戶群體的差異過大，導致各組的行為數據無法準確反應不同方案普遍性的效果。為解決上述問題，相關技術以較大數量的受試用戶進行分組，從而減少不同受試組中用戶群體的差異，但是這會提高AB測試的成本，進而造成更高的運營風險。

發明內容

本申請實施例的目的在于提供一種測試的執行方法及裝置、電子設備、計算機可讀存儲介質，用以在用戶精確分組的情況下進行測試，從而獲得準確的測試結果。

一方面，本申請提供了一種測試的執行方法，包括：

依據候選用戶集中的多個用戶在指定時間段的指定特征參數，構建所述用戶對應的時間序列；

計算所述多個用戶的時間序列之間的相似度；

依據多個所述相似度從所述候選用戶集中篩選出多個受試用戶；

將所述受試用戶劃分至預設數量的用戶分組；

根據所述用戶分組執行針對待測方案的測試任務。

在一實施例中，在構建所述用戶對應的時間序列之前，所述方法還包括：

響應于用戶篩選指令，依據所述用戶篩選指令中與至少一個篩選特征對應的篩選策略，篩選出滿足所述篩選策略的用戶，構成所述候選用戶集。

在一實施例中，所述依據多個所述相似度從所述候選用戶集中篩選多個受試用戶，包括：

依據多個所述相似度構建距離矩陣；

依據所述距離矩陣從所述候選用戶集中篩選多個受試用戶。

在一實施例中，所述依據所述距離矩陣從所述候選用戶集中篩選出多個受試用戶，包括：

將所述距離矩陣每一行的元素進行升序排列，得到初排列矩陣；

根據所述受試用戶的用戶數量，確定所述初排列矩陣中與所述用戶數量對應的候選元素列；

從所述候選元素列選擇最小元素，確定所述最小元素和所述最小元素所在行中小于所述最小元素的元素對應的用戶為受試用戶。

在一實施例中，所述將所述受試用戶的劃分至預設數量的用戶分組，包括：