[發明專利]基于機器人的觸屏設備快速探索測試方法

在審

• 申請號: 202110080721.8
• 申請日: 2021-01-21
• 公開（公告）號: CN112836603A
• 公開（公告）日: 2021-05-25
• 發明（設計）人: 錢巨;尚政宇
• 申請（專利權）人: 南京航空航天大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;B25J9/02;B25J9/16;B25J11/00
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 陸燁

1.基于機器人的觸屏設備快速探索測試方法，其特征在于，具體包括如下步驟：

步驟1：搭建機器人裝置，所述機器人裝置包括二維運動機器人和攝像機，所述二維運動機器人采用測試動作對被測試的觸屏進行測試，所述測試動作包括：點擊，滑動，長按，雙擊，拖拽和長拖拽；

步驟2：所述攝像機實時對觸屏設備進行拍攝，并將拍攝圖像中的觸屏設備的屏幕的形狀轉換為矩形；

步驟3：以拍攝圖像中矩形屏幕的左下角為原點建立直角坐標系，整個屏幕為坐標系區域；

步驟4：根據觸屏設備實際使用時各種測試動作的使用概率，生成初始候選動作指令池，并為初始候選動作指令池中每個測試動作隨機生成對應的坐標；在屏幕的初始狀態下，設置系統狀態編號為0，當執行第一次測試動作時，該測試動作對應的系統狀態編號為0，該測試動作對應的屏幕狀態為屏幕的初始狀態；

步驟5：將二維運動機器人執行上一個測試動作時，屏跳轉后的狀態作為當前測試動作對應的屏幕狀態，當機器人執行完當前測試動作后，判斷屏幕是否跳轉；

若有跳轉，將該測試動作放入已執行動作序列，根據跳轉后的屏幕狀態和已執行動作序列生成用于下一次測試的候選動作指令池，并為候選動作指令池中的每個測試動作隨機生成坐標，同時判斷跳轉后的屏幕狀態與已執行動作序列中每個動作對應的屏幕狀態是否相似，若有相似，則將用于下一次測試的候選動作指令池的系統狀態編號設為與該動作對應的系統狀態編號相同，如果沒有相似，則將用于下一次測試的候選動作指令池的系統狀態編號設為已執行動作序列中最大系統狀態編號加1，并轉步驟6；

若無跳轉，則在當前測試動作所屬的候選動作指令池中刪除當前測試動作以及與當前動作相同的測試動作，將當前測試動作放入已執行動作序列，并轉步驟6重新選擇候選測試動作；

步驟6：計算候選指令池中每個候選測試動作與已執行動作序列的邏輯距離，計算機器人從當前坐標到執行每個候選測試動作所需要的執行時間；所述邏輯距離包括候選測試動作與已執行動作序列之間的類型距離，系統狀態距離以及位置距離；

步驟7：根據邏輯距離和執行時間選擇候選測試動作，將該候選測試動作作為機器人下一次執行的動作，并將該候選測試動作所屬的候選動作指令池的系統狀態編號賦值給該候選測試動作；若已執行動作序列中系統狀態編號的數量達到指定數量或者已執行動作在屏幕上觸發的面積之和與觸屏設備的屏幕面積的比例達到指定值，則機器人停止測試；否則轉步驟5。

2.根據權利要求1所述的基于機器人的觸屏設備快速探索測試方法，其特征在于，所述二維運動機器人上設有觸屏筆，用于在屏幕上完成測試動作；所述攝像機通過支架設置在二維運動機器人的一側，所述攝像機與觸屏設備之間有夾角，使得觸屏設備在攝像機成像中完整，且在攝像機的成像圖像中觸屏設備位于該圖像的2/3高度以下的區域內。

3.根據權利要求2所述的基于機器人的觸屏設備快速探索測試方法，其特征在于，所述步驟5中判斷屏幕狀態是否相似具體為：將反應屏幕狀態的兩張圖像都平均分成H塊區域，搜索兩張圖像中是否有觸屏筆遮擋，若某一張圖像中的某個區域內有觸屏筆遮擋，則在計算相似度時忽略兩張圖像中的該區域，且將兩張圖像中該區域的相似度設置為0，則每張圖像中均剩余塊區域；兩張圖像中每塊區域依次進行邊緣檢測得到包含邊緣信息的二值化圖，再利用閉運算對二值化圖進行膨脹處理，判斷兩張圖像中第h塊區域中相同位置的像素點是否均為黑色，若是則認為該兩個像素點為相似像素點，計算相似像素點的個數占第h塊區域中總像素點個數的比值，如果比值超過預設的閾值，則認為兩張圖像第h塊區域相似；計算兩張圖像中相似區域的個數與的比值，若該比值超過預設的閾值，則認為兩個屏幕狀態相似。