[發明專利]一種基于蛻變關系匹配的組合測試方法

在審

• 申請號: 202111198197.0
• 申請日: 2021-10-14
• 公開（公告）號: CN113934631A
• 公開（公告）日: 2022-01-14
• 發明（設計）人: 孫顏潔;鈕鑫濤
• 申請（專利權）人: 南京大學
• 主分類號: G06F11/36
• 分類號: G06F11/36
• 代理公司: 江蘇圣典律師事務所 32237
• 代理人: 胡建華;于瀚文

本發明提供了一種基于蛻變關系匹配的組合測試方法，本方法首先將蛻變關系轉換為對組合測試模型的約束，然后生成一組既滿足組合覆蓋率又包含盡可能多匹配蛻變關系測試用例對的測試用例集；與傳統組合測試不同的是，本方法通過驗證匹配蛻變關系的測試用例對的輸出是否違背蛻變關系的輸出關系去自動確定待測軟件的正確性，而不是通過建立每個測試用例輸入與預期輸出之間的精確映射去判斷待測軟件的正確性。

技術領域

本發明涉及一種基于蛻變關系匹配的組合測試方法。

背景技術

組合測試(CT)(參考文獻：C.Nie and H.Leung,“A survey of combinatorialtesting,”ACM Computing Surveys(CSUR),vol.43,no.2,pp.11:1–11:29,Feb 2011；D.R.Kuhn,R.N.Kacker,and Y.Lei,“Practical combinatorial testing,”NIST SpecialPublication,vol.800,p.142,2010)可以高效檢測由交互因素引起的故障，其主要利用了一個名為覆蓋數組(CA)的數學對象，覆蓋數組是一個詳細的數據表，至少一次覆蓋了所有參數的t維組合。在組合測試領域，很少的研究關注于測試輸出正確性的驗證，即Oracle問題。大部分場景下，需要通過人力來檢查由CT生成的測試用例集的系統行為，進一步確定軟件是否存在故障。然而，人力密集型Oracle會導致CT的實際成本遠遠高于預期。

除了人力密集型Oracle，組合測試領域也存在其他類型的Oracle。隱式Oracle(參考文獻：E.T.Barr,M.Harman,P.McMinn,M.Shahbaz,and S.Yoo,“The oracle problem insoftware testing:Asurvey,”IEEE Transactions on Software Engineering,vol.41,no.5,pp.507–525,2015)即可以直接觀察到的軟件的行為，比如異常、崩潰和內存泄露等等，但該Oracle限制了故障類型和測試場景。當軟件存在完整規范時，嵌入式斷言(參考文獻：Y.Ledru,L.du Bousquet,O.Maury,and P.Bontron,“Filtering tobiascombinatorial test suites,”in Fundamental Approaches to Software Engineering,M.Wermelinger and T.Margaria-Steffen,Eds.Berlin,Heidelberg:Springer BerlinHeidelberg,2004,pp.281–294)或前置后置條件(參考文獻：T.Triki,“Filtering andreduction techniques of combinatorial tests,”Other[cs.OH].Universit′e deGrenoble English,2013)也可以作為Oracle，但該Oracle需要完整的軟件規范并且高度依賴測試專業知識。組合測試領域另一個常見的Oracle是軟件存在一個完全正確的版本(參考文獻：L.S.G.Ghandehari,M.N.Bourazjany,Y.Lei,R.N.Kacker,and D.R.Kuhn,“Applying combinatorial testing to the siemens suite,”in Software Testing,Verification and Validation Workshops(ICSTW),2013IEEE Sixth InternationalConference on.IEEE,2013,pp.362–371；L.Sh.Ghandehari,Y.Lei,R.Kacker,R.Kuhn,T.Xie,and D.Kung,“A combinatorial testing-based approach to faultlocalization,”IEEE Transactions on Software Engineering,vol.46,no.6,pp.616–645,2020；Z.Zhang and J.Zhang,“Characterizing failure-causing parameterinteractions by adaptive testing,”in Proceedings of the 2011InternationalSymposium on Software Testing and Analysis.ACM,2011,pp.331–341；N.Xintao,N.Changhai,Y.Lei,and A.T.S.Chan,“Identifying failure-inducing combinationsusing tuple relationship,”in 2013IEEE Sixth International Conference onSoftware Testing,Verification and Validation Workshops.IEEE,2013,pp.271–280)，可以通過比較當前版本的結果和正確版本的結果，直接進行正確性驗證，但往往并不存在完全正確的版本。盡管以上Oracle減輕了手工成本，但其有限的錯誤類型、需要完全正確的軟件版本或完整的規格說明，以及高度依賴測試工程師的專業知識，可能會阻止這些Oracle應用到更普遍的測試場景。因此，在組合測試領域，自動化Oracle仍然是一個待解決的緊急問題。