[發明專利]一種分組測試方法及裝置

有效

• 申請號: 202010421737.6
• 申請日: 2020-05-18
• 公開（公告）號: CN111552649B
• 公開（公告）日: 2022-02-22
• 發明（設計）人: 程大曦;梁琛;蔡天馳;劉子奇
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06F11/36
• 分類號: G06F11/36;G06Q10/06;G06T7/136
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 周嗣勇

本說明書公開了一種分組測試方法及裝置。所述方法包括：根據所確定的圖分割算法以及該算法的初始參數值，將圖結構劃分為多個子圖；根據當前的劃分結果，確定參數值更新策略；循環執行以下操作，直到滿足預設的循環停止條件：針對當前的劃分結果，利用預設的損失函數計算當前劃分結果對應的當前損失函數值；判斷當前損失函數值是否滿足預設的循環停止條件；如果否，則根據所確定的參數值更新策略，對當前的參數值進行更新；并且根據更新后的參數值，將所述圖結構劃分為多個子圖；循環結束后，根據當前的劃分結果，將至少兩個子圖對應的用戶子集確定為隨機測試的對象用戶。

技術領域

本說明書實施例涉及測試領域，尤其涉及一種分組測試方法及裝置。

背景技術

目前，在進行隨機測試之前，需要從全量的用戶中選取部分用戶作為待測試用戶，將待測試用戶劃分為多個組成成分相同或相似的分組，以便于針對不同的分組，使用不同的軟件或流程版本進行測試，可以較為客觀地獲取到不同版本對應的用戶測試指標值作為測試結果，從而分析評估出效果更好的軟件或流程版本。例如，對于實驗組和對照組需要測試軟件新用戶對當前軟件界面的喜愛程度這一測試指標，實驗組的新用戶采用軟件新界面，而對照組的新用戶采用軟件舊界面，分析測試指標值可以得出軟件新用戶更喜愛哪個軟件界面。

當前對分組進行劃分的方式可以是直接劃分出包含用戶數量相同的多個分組。

但是，在涉及通信、社交等功能的隨機測試中，可能會出現不同分組的多個用戶進行交互這一情況，這就導致獲取到的測試結果可能具有較大的誤差。例如，實驗組中的某一用戶將軟件新界面分享給對照組中的某一用戶，可能導致該對照組的用戶對軟件舊界面產生厭惡，從而影響到對照組中“對軟件界面的喜愛程度”這一測試指標，進而導致最終測試結果產生偏差。

發明內容

為了盡量減小涉及通信、社交等功能的隨機測試中用戶分組導致的偏差，本說明書公開了一種分組測試方法及裝置，技術方案如下：

一種分組測試方法，預先將待劃分的用戶集合初始化為圖結構，每個用戶對應圖中的一個節點，用戶之間的關聯對應圖中的邊；所述方法包括：

確定圖分割算法以及該算法的初始參數值，根據所確定的初始參數值，將所述圖結構劃分為多個子圖；

根據當前的劃分結果，確定參數值更新策略；

循環執行以下操作，直到滿足預設的循環停止條件：

針對當前的劃分結果，利用預設的損失函數計算當前劃分結果對應的當前損失函數值，其中，針對任一劃分結果，所述損失函數的函數值，與子圖間用戶關聯程度正相關、與各子圖內部的用戶分布均勻程度負相關；

判斷當前損失函數值是否滿足預設的循環停止條件；如果否，則

根據所確定的參數值更新策略，對當前的參數值進行更新；并且根據更新后的參數值，將所述圖結構劃分為多個子圖；

循環結束后，根據當前的劃分結果，將至少兩個子圖對應的用戶子集確定為隨機測試的對象用戶。

一種分組測試裝置，預先將待劃分的用戶集合初始化為圖結構，每個用戶對應圖中的一個節點，用戶之間的關聯對應圖中的邊；所述裝置包括：

初始化模塊，用于確定圖分割算法以及該算法的初始參數值，根據所確定的初始參數值，將所述圖結構劃分為多個子圖；

策略確定模塊，用于根據當前的劃分結果，確定參數值更新策略；

循環模塊，用于循環執行以下操作，直到滿足預設的循環停止條件：

針對當前的劃分結果，利用預設的損失函數計算當前劃分結果對應的當前損失函數值，其中，針對任一劃分結果，所述損失函數的函數值，與子圖間用戶關聯程度正相關、與各子圖內部的用戶分布均勻程度負相關；