[發明專利]基于機器人的觸屏設備快速探索測試方法

在審

• 申請號: 202110080721.8
• 申請日: 2021-01-21
• 公開（公告）號: CN112836603A
• 公開（公告）日: 2021-05-25
• 發明（設計）人: 錢巨;尚政宇
• 申請（專利權）人: 南京航空航天大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;B25J9/02;B25J9/16;B25J11/00
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 陸燁

本發明公開了一種基于機器人的觸屏設備快速探索測試方法，包括以下步驟：搭建機器人裝置，在相機成像中獲取被測設備屏幕圖像；根據觸屏設備實際使用情況，構造候選動作指令池；分析當前屏幕圖像對應的系統狀態編號，依據狀態編號剔除重復候選動作；計算候選動作到已執行動作之間的邏輯距離，基于機器人履帶運動預估候選動作的執行時間，選擇候選動作觸發，并確保觸發后設備狀態改變；重復上述過程直到被測系統狀態達到指定數量，或屏幕動作觸發面積超過一定比例。本發明使用計算機視覺技術提取被測設備的狀態，考慮機器人運動特征來決策測試動作，可在較短時間內實現對觸屏設備的大面積、多狀態、多動作探索測試。

技術領域

本發明屬于電子屏幕測試領域。

背景技術

隨著科技的發展，人們開始廣泛應用各種自動化測試技術來提高測試效率。自動化測試把人為驅動的測試轉換成程序自動執行的過程。與人工測試相比，可以降低不必要的人力物力資源消耗，避免測試人員進行重復的測試操作，提高測試效率。

探索測試是一種重要的自動化測試方法。對于手機等觸屏設備，可以隨機在應用界面上進行探索和操作，模擬用戶在觸屏上的各種可能行為，從而發現潛在缺陷。相關研究中，Monkey工具開展存粹隨機的界面探索測試，有效、但測試的冗余度高。騰訊公司基于Monkey隨機測試的原理，利用Android的UIAutomator框架獲取界面布局信息，根據界面布局對界面的訪問情況進行分類，在分類間進行隨機探索，降低類內重復，增強了隨機探索測試的效率。中國科學院軟件研究所通過顏色、強度和紋理等識別圖形用戶界面的顯著區域，推斷界面上真實可操作的對象，避免無效的隨機探索，提高了探索測試的性能。上述技術依賴被測設備所在底層系統來發起測試動作，一般需要在被測系統中安裝或啟用測試輔助工具，具有侵入性、平臺依賴度高，難以跨平臺、難以廣泛應用于各類被測設備。

可以用機器人來開展探索測試。基于機器人的探索測試具有非侵入性，不依賴被測目標內部系統，不調用被測系統內部接口，可用于被測目標具有高封裝性、無法訪問內部系統的情況，不僅適用于手機、平板，還可用于各類工業系統。相比于傳統的測試技術，基于機器人的測試可以在物理層面上模擬人類的各項觸摸動作，也更加貼近真實的人類活動。然而，直接將現有探索測試方法應用于基于機器人的測試未考慮機器的運動速度影響，存在效率不佳的問題；現有基于被測設備所在底層系統來獲取被測設備狀態的方法在非侵入式測試下也無法應用。尤其是，受制于物理運動機理，機器人在不同方向上的運動速度并不相同，因此，并不能簡單根據運動距離來判斷機器人執行測試動作執行的時間；機器人測試中機械臂等也會影響對屏幕的拍照，這些都給基于機器人的高效探索測試的實現帶來了挑戰。

發明內容

發明目的：為解決現有技術存在的問題，本發明提供了一種基于機器人的觸屏設備快速探索測試方法。

技術方案：本發明提供了一種基于機器人的觸屏設備快速探索測試方法，具體包括如下步驟：

步驟1：搭建機器人裝置，所述機器人裝置包括二維運動機器人和攝像機，所述二維運動機器人采用測試動作對被測試的觸屏進行測試，所述測試動作包括：點擊，滑動，長按，雙擊，拖拽和長拖拽；

步驟2：所述攝像機實時對觸屏設備進行拍攝，并將拍攝圖像中的觸屏設備的屏幕的形狀轉換為矩形；

步驟3：以拍攝圖像中矩形屏幕的左下角為原點建立直角坐標系，整個屏幕為坐標系區域；

步驟4：根據觸屏設備實際使用時各種測試動作的使用概率，生成初始候選動作指令池，并為初始候選動作指令池中每個測試動作隨機生成對應的坐標；在屏幕的初始狀態下，設置系統狀態編號為0，當執行第一次測試動作時，該測試動作對應的系統狀態編號為0，該測試動作對應的屏幕狀態為屏幕的初始狀態；

步驟5：將二維運動機器人執行上一個測試動作時，屏跳轉后的狀態作為當前測試動作對應的屏幕狀態，當機器人執行完當前測試動作后，判斷屏幕是否跳轉；