[發明專利]一種自動化測試方法及系統

有效

• 申請號: 201310732688.8
• 申請日: 2013-12-26
• 公開（公告）號: CN104750881B
• 公開（公告）日: 2018-12-11
• 發明（設計）人: 康劍峰;孫元超
• 申請（專利權）人: 聯芯科技有限公司
• 主分類號: G06F17/40
• 分類號: G06F17/40
• 代理公司: 上海思微知識產權代理事務所(普通合伙) 31237
• 代理人: 王宏婧

本發明提供一種自動化測試方法及裝置，包括：獲取業務狀態數據及業務動作；獲取自定義業務判斷標準；根據所述業務狀態數據及業務動作和所述自定義業務判斷標準進行匹配運算，判斷業務是否成功并生成業務判斷結果，將業務判斷結果LOG輸出至第三方應用；獲取各類異常的捕獲；獲取異常捕獲的適配管理；根據各類異常的捕獲和異常捕獲的適配管理，生成捕獲的異常。本發明支持自定義業務判斷標準，根據自定義業務判斷標準，可被動式智能判斷并反饋業務結果，無需依賴指定的測試步驟；此外，本發明支持各類異常集中管理、集中呈現與輸出。

技術領域

本發明涉及智能操作系統及其應用自動化測試領域，特別涉及一種自動化測試方法及系統。

背景技術

目前市面上智能操作系統(windows、Linux、MacOS、Android、MacIOS、symbian等)及其應用的自動化測試常采用主動式測試方法，如圖1所示，其是主動式測試方法的流程。在主動式測試中，測試執行與結果判斷都由測試執行者主動發起，且測試執行與結果判斷環環相克，每一步執行動作或者關鍵動作后都需要主動獲取當前執行狀態與數據并判斷。由于測試執行與結果判斷是相互關聯的，決定了主動式測試只能應用于測試執行步驟固定的測試，即設計一定步驟，按照每一個步驟進行測試執行。

用例測試目前是智能操作系統及其應用在日常測試中最常規的測試。通常根據產品特性來設計測試用例，測試用例中包含執行步驟。然后按照測試用例的執行步驟執行測試動作，比如：按鍵、鼠標點擊、字符輸入、觸摸屏點的等。每執行一動作或者關鍵動作，判斷執行是否正常，如果任何一處異常，則用例執行失敗。在用例測試中需要設計非常多的用例，來達到常規功能的覆蓋，常常一個產品需要設計上萬條甚至幾萬條測試用例。但是對于一個復雜且支持多業務并發的系統，通過逐條的用例測試，覆蓋系統的全部業務場景（可測試點），基本是不可能。常規的做法，只能是提取系統的關鍵性、常規性業務場景作為測試點，進行用例覆蓋。

用例測試采用如上所述主動式測試進行測試判斷，稱之為主動式用例測試。主動式用例測試的測試結果判斷需要測試執行者發起測試數據收集與結果判斷，也就是說在主動式自動化用例測試中，需要在腳本中實現對測試數據收集與結果判斷。目前主流的自動化用例測試軟件都是采用此方式，比如：HCP，Comcat，普天機械手，QTP，按鍵精靈等。但是主動式用例測試存在以下問題：1）腳本編寫邏輯復雜：每個動作或者關鍵動作后的判斷都在用例腳本中體現，而每個動作后的判斷點與方式很可能存在差異，往往需要專業的技術手段，比如陀螺儀模擬、圖片匹配、各類值獲取等，還需要考慮各種并發場景和異常事件，可以想象這個腳本的邏輯會非常復雜。雖然很多自動化測試只在關鍵的動作進行判斷以簡化腳本編寫邏輯，但會帶來非關鍵動作無法保證的風險。2）復用性不高：相同步驟的同模塊腳本可以復用，但用例設計很多是在同一模塊有多個不同的操作步驟用例，很難做到復用。3）腳本的編寫和維護工作量大：復雜的腳本邏輯必然會帶來巨大的腳本編寫工作，當被測試系統版本更新后，需投入腳本更改工作以適應新的系統，腳本越復雜、復用性越差，腳本更改工作量越大。

隨機測試也是智能操作系統及其應用在日常測試中常規的測試。隨機測試是在一定范圍隨機執行動作，比如：按鍵、命令輸入、鼠標點擊、其他傳感器數據輸入等，這些動作觸發系統或者應用事件。動作完成后，只能判斷系統與應用是否存在異常（比如：崩潰、無響應等），如果出現異常，判定執行失敗。基此，隨機測試不判斷測試結果，只是響應異常信息，不屬于主動式測試。隨機測試一般都用自動化方式實現，隨機自動化測試一般只能判斷系統與應用是否出現異常，因為未預先設定具體的測試步驟，所以無法進行業務測試的判斷是否成功。比如Android手機，Monkey只能判斷系統與應用是否異常，無法判斷電話是否撥打成功，無法判斷通訊模塊是否出現異常。隨機自動化測試具有測試覆蓋點多、強度大的優點，可以很好的彌補用例測試的不足；但缺點是，可復現性差、很難系統規劃、很容易造成測試遺漏，所以隨機自動化測試一般只能作為輔助測試。

發明內容

為解決上述技術問題，本發明提供一種自動化測試方法，包括：