[發明專利]自動操作系統測試框架

有效

• 申請號: 201180043323.3
• 申請日: 2011-08-10
• 公開（公告）號: CN103180834A
• 公開（公告）日: 2013-06-26
• 發明（設計）人: I.J.麥克羅伊;J.R.巴克;D.G.芒蒂
• 申請（專利權）人: 國際商業機器公司
• 主分類號: G06F11/36
• 分類號: G06F11/36
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 黃小臨

技術領域

本發明涉及計算系統的自動測試，具體涉及計算系統的支持接口元件的自動測試。

背景技術

本領域中公知用各種測試工具和測試裝備（harness）來測試計算系統。在這方面，需要特別關注的測試的一個領域（area）在下述測試系統中，所述測試系統意欲在外部表現為好像它們是其它系統一樣——例如，被設計來仿真或虛擬化其它系統或系統架構同時具有不同的內部結構、指令序列和操作特性的測試系統。另一個例子是修改或增強的系統的測試，以確定其仍舊支持前任（predecessor）系統（有時稱為“回歸（regression）測試”）的所有功能和行為特性。當需要在增強后測試操作系統的運算符命令行接口（operator?command-line?interface）時，或當操作系統需要在不同的架構上再現其命令行接口特性時，需要大量略微重復的測試，從而導致由測試任務的本質造成的缺乏足夠的覆蓋范圍和人為錯誤的潛在問題。

雖然通常已知自動測試系統，但是這些自動測試系統沒有解決上述的特定問題。例如，考慮跨平臺應用翻譯器的測試。在一個示例情況下，這樣的跨平臺翻譯器允許對一個操作系統/CPU對編寫應用從而在完全不同的操作系統/CPU對上運行。該技術需要傳遞與主機操作系統一起運行的附隨的操作系統以及充當附隨的操作系統和主機操作系統之間的橋梁的跨平臺應用翻譯器。在這樣的環境中，期望自動測試附隨的操作系統以確保在使用給定的翻譯層的情況下，在命令集之下的操作系統的二進制（binaries）都以與其在參考平臺上完全相同的方式操作。

在測試下層的操作系統二進制時，本領域的技術人員將理解需要考慮二進制間的任何依賴性關系。例如，響應于對目錄中的文件執行操縱的命令而執行的二進制的測試依賴于創建目錄并向目錄中填充文件的二進制。因此不能測試文件操縱二進制，直到制造二進制的目錄和文件已被運用（exercise）為止。

因此難以滿足對下層二進制的窮盡和考慮依賴性的自動測試的需求，該下層二進制在接口層處由復合命令集表示。因此，希望解決已知測試系統的這些缺點。

發明內容

因此在第一方面，本發明提供一種自動測試第一計算系統的方法，包括：標識第二計算系統的多個系統接口元件；確定所述標識出的多個系統接口元件中的一個在所述第一計算系統處的未測試的狀態；確定所述標識出的多個系統接口元件中的所述一個對所述標識出的多個系統接口元件中的另一個的任何依賴性的存在；響應于沒有發現所述依賴性，在儲存庫中尋找與所述標識出的多個系統接口元件中的所述一個對應且具有根據所述第二計算系統的結構的預期輸出的系統接口元件測試；以及在所述第一計算系統處執行所述系統接口元件測試。

該方法還可以包括步驟：響應于發現所述依賴性，在所述儲存庫中尋找與所述標識出的多個系統接口元件中的所述另一個對應的又一個系統接口元件測試；以及在所述第一計算系統處執行所述又一個系統接口元件測試。該方法還可以包括步驟：響應于所述尋找步驟發現所述系統接口元件測試或所述又一個系統接口元件測試失敗，創建與所述標識出的多個系統接口元件中的所述一個對應的新測試；在所述第二計算系統處執行所述新測試；以及在所述儲存庫中存儲所述新測試和與在所述第二計算系統處執行所述新測試的所述步驟的輸出對應的預期輸出。

該方法還可以包括以下步驟：將在所述第一計算系統處執行所述系統接口元件測試或所述新測試的所述步驟的輸出與所述儲存庫中的所述預期輸出相比較；以及響應于執行所述步驟的所述輸出和所述預期輸出之間的不匹配，引出用戶輸入。優選地，所述用戶輸入選擇性地掩蔽所述測試的所述輸出的一部分。優選地，所述第一計算系統被布置以仿真所述第二計算系統的操作。

在第二方面，提供了一種用于自動測試第一計算系統的系統，包括：標識組件，用于標識第二計算系統的多個系統接口元件；確定組件，用于確定所述標識出的多個系統接口元件中的一個在所述第一計算系統處的未測試的狀態；確定組件，用于確定所述標識出的多個系統接口元件中的所述一個對所述標識出的多個系統接口元件中的另一個的任何依賴性的存在；尋找組件，響應于沒有發現所述依賴性，在儲存庫中尋找與所述標識出的多個系統接口元件中的所述一個對應且具有根據所述第二計算系統的結構的預期輸出的系統接口元件測試；以及執行組件，用于在所述第一計算系統處執行所述系統接口元件測試。