[發明專利]軟件測試裝置和方法

有效

• 申請號: 201810835884.0
• 申請日: 2018-07-26
• 公開（公告）號: CN109684190B
• 公開（公告）日: 2022-02-22
• 發明（設計）人: 來間啟伸;小川秀人;中川雄一郎;伊藤信治;佐藤直人;明神智之
• 申請（專利權）人: 株式會社日立制作所
• 主分類號: G06F11/36
• 分類號: G06F11/36
• 代理公司: 北京尚誠知識產權代理有限公司 11322
• 代理人: 龍淳;何中文

本發明提供一種軟件測試裝置和方法，用于判斷具有不可預測性的軟件是否進行符合預期的動作。軟件測試裝置包括：數據轉換部，其通過計算機接收測試輸入數據，將測試輸入數據轉換為給與軟件的軟件輸入數據和模型輸入數據；軟件執行部，其接收軟件輸入數據，基于軟件輸入數據執行測試對象的軟件，輸出執行結果；模型執行部，其接收關于軟件的參考模型，基于模型輸入數據和參考模型，生成包括執行軟件得到的執行結果的允許輸出值范圍的模型允許輸出值范圍；差異分析部，其基于軟件執行部輸出的執行結果和模型執行部生成的模型允許輸出值范圍，生成差異信息；和判斷部，其接收評價基準，基于差異信息和評價基準，進行軟件的動作的判斷。

技術領域

本發明涉及軟件測試裝置和方法，特別涉及對與輸入數據值對應的輸出數據值存在不可預測性的軟件進行測試的軟件測試裝置和方法。

背景技術

因為信息處理裝置的性能提高，而要求計算機系統與現實世界緊密連接地工作。處理對象中例如包括以下3個項目：(1)使用大量傳感器從現實世界收集數據，(2)經由大量致動器對現實世界產生作用，(3)以大量數據為對象的數據挖掘。這樣的系統中，通過多個子系統協作，處理復雜地相互關聯的大量數據。設計與現實世界緊密連接地工作的軟件的情況下，難以像以往那樣由設計者手動地構建復雜地相互關聯并且處理大量數據的算法。為了解決該問題，出現了利用使用機器學習生成的判斷算法(人工智能)的軟件。一般而言，機器學習中的“監督式學習”中，將決定與輸入值對應的輸出值的學習數據集分為訓練數據集和測試數據集，用后者評價使用前者進行學習的結果的精度。

專利文獻1中記載的系統提供一種使用機器學習生成判斷算法時的高效率的學習方法、和通過學習構建的算法的測試方法。該系統和方法中，將學習數據集分割為訓練數據集和測試數據集，使用訓練數據集生成判斷(也稱為“判定”)算法(例如人工神經網絡)，并且使用測試數據集評價適應評分。之后，對這些數據集的數據應用遺傳算法重組數據集，根據共用的學習數據集生成達到最佳的適應評分的訓練數據集和測試數據集。通過采用這樣的方式，能夠給出將學習數據集最佳地分割的方法，效率良好地進行高精度的學習。

現有技術文獻

專利文獻

專利文獻1：日本特表2006-518062號公報

發明內容

發明要解決的技術問題

如背景技術中所述，對于構建通過多個子系統協作而處理復雜地相互關聯的大量數據的系統的軟件，不存在掌握其整體動作的設計者，不能明確地預測與輸入軟件的輸入值對應的輸出值。這樣的軟件是具有不可預測性的軟件。一般而言，軟件的測試是驗證對于輸入值能夠得到設計上設想的輸出值的行為，通過測試能夠確認軟件是否按照設計工作、即軟件的可靠性。但是，具有不可預測性的軟件不能在設計時決定與輸入值對應的輸出值，不能進行充分的測試來確認軟件是否進行符合預期的動作。

專利文獻1的技術，對于通過機器學習生成的判斷算法，用從預先給出的數據集中選擇的測試數據集進行評價。因此，在使用判斷算法的軟件的測試中能夠使用的輸入值和輸出值也被限制在給出的數據集的范圍內。這樣只覆蓋了這樣的軟件中設想的輸入值的一部分，作為用于確保軟件的可靠性的測試是不充分的。另一方面，因為機器學習的結果依賴于學習，所以難以預測與輸入值對應的輸出值，在現有技術中不能處理對給出的數據集中不包括的輸入值的測試。為了確保以使用通過機器學習生成的判斷算法的軟件為代表的、在設計時不能決定與輸入值對應的輸出值的具有不可預測性的軟件的可靠性，需要進行基于包括輸出值不可預測的輸入值的大量的測試數據的測試。

本發明的目的在于提供一種軟件測試裝置和方法，其判斷具有不可預測性的軟件是否進行了符合預期的動作。