[發明專利]確定自動化測試腳本回放時的操作坐標的方法及裝置

有效

• 申請號: 201610124617.3
• 申請日: 2016-03-04
• 公開（公告）號: CN105740874B
• 公開（公告）日: 2019-04-16
• 發明（設計）人: 徐祖亮
• 申請（專利權）人: 網易（杭州）網絡有限公司
• 主分類號: G06K9/46
• 分類號: G06K9/46
• 代理公司: 北京律智知識產權代理有限公司 11438
• 代理人: 姜怡;闞梓瑄

本公開是關于一種確定自動化測試腳本回放時的操作坐標的方法及裝置，方法包括：分別在錄制和回放測試腳本之前，將被測試的移動設備的圖形用戶界面縮放到預設尺寸分別得到第一圖形用戶界面與第二圖形用戶界面；在錄制測試腳本時，記錄錄制時的操作坐標與操作圖標；在回放所述測試腳本時：計算所述操作圖標與所述第二圖形用戶界面的特征點；根據與所述操作坐標之間的距離從所述特征點中篩選特征點作為有效特征點；計算所述有效特征點與所述操作坐標的匹配點，將所計算的匹配點的質心作為回放時的操作坐標。本公開的技術方案能夠在自動化測試時有效過濾離實際目標較遠的噪點，能準確匹配錄制時的操作目標，并且提高匹配效率。

技術領域

本公開涉及圖像識別技術領域，尤其涉及一種確定自動化測試腳本回放時的操作坐標的方法及裝置。

背景技術

目前基于圖片腳本錄制回放的相關技術有sikuli(Sikuli是一種新穎的圖形腳本語言，是MIT的研究人員設計的一種新穎的圖形腳本語言，計算機用戶只須有最基本的編程技能，不需要去寫出一行行代碼，而是用屏幕截圖的方式，用截出來的圖形元素組合出神奇的程序)，該技術對圖像識別采用基于像素點的模版匹配方法，即通過按像素滑動模板圖像和原圖像進行比較，通過平方差匹配算法得出每次滑動比較的差異結果，最后獲取差異最小的那一次滑動所在區域作為匹配結果。

該相關技術的腳本中的操作圖標不能適應屏幕分辨率的變化，當更換測試設備時，需要重新錄制腳本，測試腳本不能進行設備兼容性測試。上述基于像素點的模版匹配方法，無法適應不同分辨率的圖像由于分布的像素顏色值隨著分辨率變化而產生較大差異，從而令平方差算法得出的差異結果失準，對于相同模板圖像的匹配無法做到有效的兼容。

還有一種相關技術是SIFT(Scale-invariant feature transform，尺度不變特征變換)特征匹配方法,SIFT特征匹配方法通過分別求兩幅圖中的特征點(interest pointsor corner points)及其有關尺度scale和方向orientation的描述子得到特征，然后進行兩幅圖像的特征點匹配。SIFT算法是David G.Lowe在1999年提出的一種基于尺度空間的、對圖像縮放、旋轉甚至仿射變換保持不變性的圖像局部特征描述算子，SIFT將一幅圖像映射(變換)為一個局部特征向量集，特征向量具有平移、縮放、旋轉不變性，同時對光照變化、仿射及投影變換也有一定的不變性。因此SIFT特征匹配能有效解決不同分辨率畫面中重定位操作圖標的問題。

但是在腳本錄制回放的實際應用中，采用SIFT特征匹配還是存在一些問題，首先會導致操作坐標誤匹配，不必要的匹配點會影響匹配結果和匹配位置的準確率，影響目標重定位的準確率。當SIFT特征匹配時，兩個位置相異的關鍵點有可能會擁有相似的特征向量，令算法認為此這兩個關鍵點匹配，這些不必要的匹配點會影響匹配結果和匹配位置的準確率，影響目標重定位的準確率。其次，匹配運算時間影響回放實時性，SIFT特征點匹配時128維的特征向量距離計算，對與無效的SIFT特征點進行匹配將會產生不必要的運算時間，影響回放實時性。

發明內容

為克服相關技術中存在的問題，本公開提供一種確定自動化測試腳本回放時的操作坐標的方法及裝置。

根據本公開實施例的第一方面，提供一種確定自動化測試腳本回放時的操作坐標的方法，包括：

在錄制測試腳本之前，將被測試的第一移動設備的圖形用戶界面縮放到預設尺寸得到第一圖形用戶界面；

在錄制測試腳本時，記錄錄制時在所述第一圖形用戶界面上的操作坐標，根據所述操作坐標截取錄制操作在所述第一圖形用戶界面上對應的操作圖標；

在回放所述測試腳本之前，將被測試的第二移動設備的圖形用戶界面縮放到所述預設尺寸得到第二圖形用戶界面；

在回放所述測試腳本時：

計算所述操作圖標與所述第二圖形用戶界面的特征點；