[發(fā)明專利]一種人機圖形交互界面的自動化測試方法和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201410826033.1
• 申請日: 2014-12-27
• 公開（公告）號: CN105808416B
• 公開（公告）日: 2018-04-13
• 發(fā)明（設(shè)計）人: 袁浩;彭輝水;唐愛斌;黃旺;李文波;楊穎
• 申請（專利權(quán)）人: 南車株洲電力機車研究所有限公司
• 主分類號: G06F11/36
• 分類號: G06F11/36
• 代理公司: 湖南兆弘專利事務(wù)所(普通合伙)43008
• 代理人: 趙洪,周長清

技術(shù)領(lǐng)域

本發(fā)明主要涉及到人機圖像交互界面的設(shè)計領(lǐng)域，特指一種適用于人機圖形交互界面設(shè)計的采用機器視覺技術(shù)的自動化測試方法和系。

背景技術(shù)

人機圖像交互界是控制系統(tǒng)的重要組成部分，以列車人機交互界面為例，它就是列車司機或工作人員與車載設(shè)備信息交互的媒介，是列車運行控制系統(tǒng)中的重要組成部分。為此，人機交互界面在正式列裝使用前需要大量的測試以保證其安全可靠的運行。

目前，對于人機交互界面的測試工作主要采用人工測試，人工測試效率低，在長時間高強度測試工作過程中，測試人員容易疲勞，導(dǎo)致對人機交互界面進行誤判，造成測試錯誤。

因此，有從業(yè)者提出了一種自動化界面測試系統(tǒng)，該方案需要從被測界面程序代碼中讀取包括界面元素名、界面元素類型和業(yè)務(wù)功能要求信息在內(nèi)的界面元素信息；需要了解業(yè)務(wù)功能和用戶使用情況才能生存測試案例；且在界面程序代碼以及業(yè)務(wù)功能和用戶使用情況未知的情況下，無法實施。該方案是針對用戶響應(yīng)功能的測試。測試通過原則是功能要求響應(yīng)結(jié)果是否與預(yù)期驗證結(jié)果一致，并沒有針對最終界面顯示是否正確進行測試，所以最終界面顯示是否正常并不能通過該測試方案得到反饋。所以，該方案只適用于界面設(shè)計代碼與應(yīng)用邏輯代碼相分離的設(shè)計模式的軟件系統(tǒng)，不能適用其他非分離式設(shè)計模式的人機交互界面系統(tǒng)。

另有從業(yè)者提出了一種界面測試方法和裝置，該方案在每遍歷到一個界面時，分別對其進行截圖，并將截圖進行保存；并利用截圖與基準界面進行比較，從得出測試結(jié)果。由于截圖是軟件內(nèi)部數(shù)據(jù)的保存，并不能驗證最終在顯示設(shè)備上的界面是正確顯示的，例如，系統(tǒng)顯示屏出現(xiàn)故障的時候，若界面截圖數(shù)據(jù)與基準界面比較一致，則該測試結(jié)果會被認為通過，但實際情況卻是顯示屏上不能正確顯示基準界面，所以該方案并適用于對系統(tǒng)級的包含軟件和硬件的測試。該方案不能自動對基準界面圖進行分析識別，獲取界面元素的位置信息，沒有考慮到各界面之間的跳轉(zhuǎn)關(guān)系的測試，不能測試各界面之間的跳轉(zhuǎn)關(guān)系，也不能自動生成用例數(shù)據(jù)。而且，該方案只采用了相似度閥值判斷基準界面與被測界面是否相同單一的判斷基準，對界面中的文字的相似判斷不夠準確，容易造成誤判。

還有從業(yè)者提出了一種自繪界面軟件的測試方法和裝置，該方案需要獲取自繪界面的配置文件和資源文件才能獲取界面元素的位置信息，不能通過對圖像處理技術(shù)對自繪界面圖像進行識別分析自動得出界面元素的位置信息。該方案在等待模擬用戶操作得到響應(yīng)的方法是利用界面元素的特定顏色變化來判斷，需要準確獲取軟件界面中特定位置的的像素點的顏色代碼，這就需要從軟件內(nèi)部獲取界面數(shù)據(jù)，無法正對整個軟硬件系統(tǒng)測試。而且，該方案是針對界面元素相關(guān)的文字信息或URL信息是否符合預(yù)期進行測試，并不關(guān)心最終在顯示設(shè)備上顯示的界面是否正確。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題就在于：針對現(xiàn)有技術(shù)存在的技術(shù)問題，本發(fā)明提供一種原理簡單、操作簡便、通用性好、能夠大幅提高測試效率的人機圖形交互界面的自動化測試方法和系統(tǒng)。

為解決上述技術(shù)問題，本發(fā)明采用以下技術(shù)方案：

一種機器視覺技術(shù)的人機圖形交互界面的自動化測試方法，其步驟為：

S1：采集人機交互各界面的各種狀態(tài)參數(shù)：包括界面設(shè)計圖以及各界面跳轉(zhuǎn)關(guān)系、跳轉(zhuǎn)條件以及跳轉(zhuǎn)參數(shù)和各界面設(shè)計圖中的字符信息的數(shù)據(jù)；

S2：生成界面跳轉(zhuǎn)操作指令：對各界面設(shè)計圖、各界面之間跳轉(zhuǎn)關(guān)系、跳轉(zhuǎn)條件以及跳轉(zhuǎn)參數(shù)和各界面設(shè)計圖中的字符信息進行自動分析，枚舉出各界面之間的每一條跳轉(zhuǎn)路徑并結(jié)合跳轉(zhuǎn)條件和跳轉(zhuǎn)參數(shù)生成界面跳轉(zhuǎn)操作指令，無需人工參與分析；

S3：生成測試用例：自動利用各界面設(shè)計圖以及其中的字符信息并結(jié)合界面跳轉(zhuǎn)操作指令生成測試用例，無需人工參與生成測試用例；

S4：執(zhí)行測試用例：發(fā)送跳轉(zhuǎn)操作指令，使其在各界面之間跳轉(zhuǎn)；在發(fā)出跳轉(zhuǎn)指令時立刻對人機交互界面進行圖像采集，對界面圖像進行檢測；若界面圖像開始劇烈變化，說明人機交互界面還在進行界面之間的跳轉(zhuǎn)，此時不記錄界面圖像；若無劇烈變化，則說明界面跳轉(zhuǎn)動作完成，可以記錄界面圖像，進入對人機交互界面進行拍攝的過程以獲取實際的人機交互界面圖像。