[發明專利]利用集成學習進行測試用例優先級排序的測試方法和系統

有效

• 申請號: 202010432137.X
• 申請日: 2020-06-09
• 公開（公告）號: CN111427802B
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 宋雪菲;張賀;劉博涵;榮國平;邵棟
• 申請（專利權）人: 南京大學
• 主分類號: G06F11/36
• 分類號: G06F11/36;G06N20/20
• 代理公司: 北京華際知識產權代理有限公司 11676
• 代理人: 曹書華

1.一種利用集成學習進行測試用例優先級排序的測試方法，其特征在于，包括以下步驟：

S1：根據測試用例的屬性信息和歷史執行數據，利用集成學習算法建立對測試用例執行錯誤率的回歸預測模型，預測即將執行的測試過程中各個測試用例的錯誤率；

S2：基于錯誤率的回歸預測模型對各個測試用例的錯誤率進行預測，將各個測試用例按照預測錯誤率由大到小的順序進行優先級排序，并按照優先級順序執行測試用例；

S3：在測試過程中，一旦有測試用例執行失敗，立刻進行分析和修復；

利用集成學習算法建立對測試用例執行錯誤率的回歸預測模型的具體步驟包括：

S1-1：設定集成學習模型參數；

S1-2：在數據的各項特征中進行選擇，選擇與錯誤率相關系數高的特征，用作模型訓練的數據特征；

S1-3：將數據集合切分為訓練數據集和測試數據集，訓練數據集用于訓練模型，測試數據集用于對模型進行評估；

S1-4：將某次執行中測試用例的本次執行結果作為標簽，本次執行結果以外的其他特征作為輸入數據進行訓練，得到預測結果為下一次執行時各個測試用例執行錯誤率的回歸預測模型；

本模型是一個預測模型，所以選擇回歸問題中最常用的均方差函數作為損失函數，根據數據情況設定最大迭代次數和回歸樹的最大深度；

輸入訓練數據，訓練模型，使用最近一次執行的數據作為訓練數據，以測試用例的本次執行結果為標簽，其他特征作為訓練數據輸入，模型建立的步驟如下：

其中，T為算法迭代的最大次數，m為樣本數量，即用于訓練的測試用例數目，L(y,f(x))為損失函數，f_t(x)為第t輪訓練得到的強學習器；

首先初始化一個使損失函數L最小的弱學習器f₀；

其次，迭代訓練弱學習器，對t＝1,2...T有：

(1)對每一個測試用例樣本，分別計算其負梯度r_ti：

(2)利用負梯度r_ti擬合一棵回歸樹,得到第t棵回歸樹，其對應的葉子結點區域為R_tj，j＝1,2...J；

(3)計算最佳擬合值c_tj：

(4)將弱學習器加入到已經訓練完成的模型中，得到新的強學習器：

循環完成后，得到最終的強學習器即本實施例中的錯誤率預測模型f(x)＝f_T(x)。

2.根據權利要求1所述的利用集成學習進行測試用例優先級排序的測試方法，其特征在于，在建立對測試用例執行錯誤率的回歸預測模型前，還包括以下步驟：

獲取所有待排序的測試用例的屬性信息，包括但不限于：測試用例名稱、ID、創建時間；

獲取所有待排序測試用例的歷史執行數據，包括但不限于：執行日期、執行時長、本次執行結果、上一次執行結果、歷史執行錯誤率；

歷史執行錯誤率的計算方法為：一定時間內測試用例執行錯誤的次數\一定時間內測試用例執行的總次數；

將測試用例的屬性信息和歷史執行數據組合成為測試用例的屬性信息和某一次測試的執行信息的組合。

3.根據權利要求1所述的利用集成學習進行測試用例優先級排序的測試方法，其特征在于，建立對測試用例執行錯誤率的回歸預測模型前，還包括以下步驟：

處理測試用例信息中的缺失或者異常數據，并將數據信息轉換為模型能夠識別的格式；

處理測試用例信息中的缺失或者異常數據包括：處理缺失值和異常值，測試用例的屬性信息缺失或異常時，通過人工補全或均值、相似值、多數值的方式補全；測試用例的執行數據缺失或異常時，需重新執行該測試用例以獲得其執行時長等執行數據；

處理過時數據：對于一定時間內未執行過的測試用例進行標注，經過審核后從測試用例集合中刪除，以保證當前測試用例集合的時效性。

4.根據權利要求1所述的利用集成學習進行測試用例優先級排序的測試方法，其特征在于，在測試過程中按照排好的優先級序列執行測試用例的具體方法包括：

優先執行預測錯誤率高的測試用例，在錯誤率高的測試用例中發現代碼故障的可能性更高，使代碼故障盡早被發現；

立刻對發現的代碼故障進行修復，縮短測試到修復的時間。