[發(fā)明專利]利用集成學(xué)習(xí)進(jìn)行測試用例優(yōu)先級(jí)排序的測試方法和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202010432137.X
• 申請日: 2020-06-09
• 公開（公告）號(hào): CN111427802B
• 公開（公告）日: 2021-06-22
• 發(fā)明（設(shè)計(jì)）人: 宋雪菲;張賀;劉博涵;榮國平;邵棟
• 申請（專利權(quán)）人: 南京大學(xué)
• 主分類號(hào): G06F11/36
• 分類號(hào): G06F11/36;G06N20/20
• 代理公司: 北京華際知識(shí)產(chǎn)權(quán)代理有限公司 11676
• 代理人: 曹書華

本發(fā)明屬于軟件測試技術(shù)領(lǐng)域，具體涉及利用集成學(xué)習(xí)進(jìn)行測試用例優(yōu)先級(jí)排序的測試方法和系統(tǒng)，包括：根據(jù)測試用例的屬性信息和歷史執(zhí)行數(shù)據(jù)，利用集成學(xué)習(xí)算法建立對測試用例執(zhí)行錯(cuò)誤率的回歸預(yù)測模型，用于預(yù)測即將執(zhí)行的測試過程中各個(gè)測試用例可能的出錯(cuò)概率；基于錯(cuò)誤率預(yù)測模型對各個(gè)測試用例的錯(cuò)誤率進(jìn)行預(yù)測，將各個(gè)測試用例按照預(yù)測錯(cuò)誤率由大到小的順序進(jìn)行優(yōu)先級(jí)排序，并按照優(yōu)先級(jí)順序執(zhí)行測試用例；在測試過程中，一旦有測試用例執(zhí)行失敗，立刻提交給開發(fā)人員進(jìn)行分析和修復(fù)。本發(fā)明縮短了從測試人員測試到開發(fā)人員進(jìn)行修復(fù)的時(shí)間，提高測試效率。

技術(shù)領(lǐng)域

本發(fā)明屬于軟件測試技術(shù)領(lǐng)域，具體涉及一種利用集成學(xué)習(xí)進(jìn)行測試用例優(yōu)先級(jí)排序的測試方法和系統(tǒng)。

背景技術(shù)

隨著軟件產(chǎn)品規(guī)模的增大，更新迭代速度的加快，測試執(zhí)行的頻率也越來越高。在軟件的開發(fā)過程中，每天都有版本的更新和持續(xù)集成。而在代碼提交前后，測試人員需要進(jìn)行測試，這個(gè)開銷無疑是巨大的。這種情況下，測試過程不僅耗費(fèi)大量成本，還會(huì)使測試的速度落后于產(chǎn)品更新迭代的速度，無法保障軟件質(zhì)量。

因此，研究人員從優(yōu)化測試用例的執(zhí)行順序入手，提出了測試用例優(yōu)先級(jí)(TCP，Test Case Prioritization)技術(shù)。測試用例優(yōu)先級(jí)技術(shù)希望通過對測試用例進(jìn)行優(yōu)先級(jí)排序，使得代碼故障更早的被檢測出來。在測試用例數(shù)量過多導(dǎo)致回歸測試時(shí)間過長或測試時(shí)間有限不能執(zhí)行完全部測試用例的場景中，測試用例的優(yōu)化將發(fā)揮很大的作用。

但目前現(xiàn)有TCP技術(shù)均是針對Java或C語言提出的，依賴于識(shí)別代碼覆蓋信息的工具。隨著更多的語言被用于企業(yè)的軟件開發(fā)中，很多情況下執(zhí)行TCP技術(shù)的相關(guān)信息難以獲取或者獲取成本很高。因此如何利用企業(yè)中通用、普遍的數(shù)據(jù)執(zhí)行TCP技術(shù)仍然是一個(gè)問題。同時(shí)，目前企業(yè)對TCP技術(shù)的應(yīng)用，主要集中在通過選擇測試用例集合中少量而有效的測試用例執(zhí)行，來解決測試時(shí)間過長影響產(chǎn)品迭代速度的問題。但在某些軟件企業(yè)中，由于架構(gòu)復(fù)雜、軟件規(guī)模龐大，選擇一部分測試用例執(zhí)行可能導(dǎo)致某些錯(cuò)誤難以被發(fā)現(xiàn)，影響產(chǎn)品的可靠性。這對于對產(chǎn)品質(zhì)量和安全有高要求的的企業(yè)來說會(huì)產(chǎn)生很大的影響。因此通過TCP技術(shù)選擇部分用例執(zhí)行的方法在很多企業(yè)中不適用。

發(fā)明內(nèi)容

本發(fā)明的目的在于：針對現(xiàn)有方法的不足，提供一種能夠提高故障檢測率、縮短測試人員測試到開發(fā)人員修復(fù)的時(shí)間的利用集成學(xué)習(xí)進(jìn)行測試用例優(yōu)先級(jí)排序的測試方法和系統(tǒng)。

為實(shí)現(xiàn)上述目的，本發(fā)明的技術(shù)方案是：提供一種利用集成學(xué)習(xí)進(jìn)行測試用例優(yōu)先級(jí)排序的測試方法，包括以下步驟：

S1：根據(jù)測試用例的屬性信息和歷史執(zhí)行數(shù)據(jù)，利用集成學(xué)習(xí)算法建立對測試用例執(zhí)行錯(cuò)誤率的回歸預(yù)測模型，預(yù)測即將執(zhí)行的測試過程中各個(gè)測試用例可能的出錯(cuò)概率；

S2：基于錯(cuò)誤率預(yù)測模型對各個(gè)測試用例的錯(cuò)誤率進(jìn)行預(yù)測，將各個(gè)測試用例按照預(yù)測錯(cuò)誤率由大到小的順序進(jìn)行優(yōu)先級(jí)排序，并按照優(yōu)先級(jí)順序執(zhí)行測試用例；

S3：在測試過程中，一旦有測試用例執(zhí)行失敗，立刻進(jìn)行分析和修復(fù)。

優(yōu)選地，在建立對測試用例執(zhí)行錯(cuò)誤率的回歸預(yù)測模型前，還包括以下步驟：

獲取所有待排序的測試用例的屬性信息，包括但不限于：測試用例名稱、ID、創(chuàng)建時(shí)間；

獲取所有待排序測試用例的歷史執(zhí)行信息，包括但不限于：執(zhí)行日期、執(zhí)行時(shí)長、本次執(zhí)行結(jié)果、上一次執(zhí)行結(jié)果、歷史執(zhí)行錯(cuò)誤率；

歷史執(zhí)行錯(cuò)誤率的計(jì)算方法為：(一定時(shí)間內(nèi))測試用例執(zhí)行錯(cuò)誤的次數(shù)\(一定時(shí)間內(nèi))測試用例執(zhí)行的總次數(shù)；

將測試用例的屬性信息和歷史數(shù)據(jù)組合成為測試用例的屬性信息和某一次測試的執(zhí)行信息的組合。

優(yōu)選地，建立對測試用例執(zhí)行錯(cuò)誤率的回歸預(yù)測模型前，還包括以下步驟：