[發明專利]一種元素定位方法及計算設備

在審

• 申請號: 202110520722.X
• 申請日: 2021-05-13
• 公開（公告）號: CN113190455A
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 黃明強
• 申請（專利權）人: 統信軟件技術有限公司
• 主分類號: G06F11/36
• 分類號: G06F11/36;G06K9/32;G06K9/46;G06K9/62
• 代理公司: 北京瀚方律師事務所 11774
• 代理人: 周紅力

本發明公開了一種元素定位方法，在計算設備中執行，包括步驟：獲取包括待識別元素的特征區域圖像；獲取屏幕圖像；將所述屏幕圖像中的每個坐標點與特征區域圖像中的每個坐標點的顏色值分別進行比對，以便確定所述屏幕圖像中與所述特征區域圖像相匹配的目標區域；以及根據所述目標區域在屏幕圖像中的位置來確定所述特征區域圖像在屏幕圖像中的相對位置。本發明還一并公開了相應的計算設備。根據本發明的元素定位方法，匹配過程更加穩定，且匹配速度更快，提高了對元素的定位速度。

技術領域

本發明涉及自動化測試技術領域，特別涉及一種元素定位方法及計算設備。

背景技術

元素的定位是自動化測試的核心內容，無論是web自動化測試還是app自動化測試都存在元素定位不到的問題。

根據現有技術中的技術方案，基于Accessibility對Qt應用的元素控件添加ObjectName，利用Dogtail工具提供的方法定位元素控件。由于Dogtail尋找元素時會遍歷樹形結構里面的所有元素，從而導致元素定位速度慢。而且，Dogtail工具本身存在不穩定性，經常會出現找不到元素的情況。另外，當應用中存在無法添加ObjectName的元素時，只能通過索引的方式尋找元素，不利于自動化測試的維護。

還有一種方案，是采用Opencv提供的模板匹配技術，通過對比目標小圖和屏幕大圖，進而計算出小圖在屏幕中的位置。這種方案，需要通過Opencv提供的imread函數來讀取圖片，而imread函數需要傳入圖片的路徑，這樣，必須要生成目標小圖和屏幕大圖的本地文件，導致匹配速度較慢，具有一定滯后性。

為此，需要一種元素定位方法來解決上述技術方案中存在的問題。

發明內容

為此，本發明提供一種元素定位方法，以力圖解決或者至少緩解上面存在的問題。

根據本發明的一個方面，提供了一種元素定位方法，在計算設備中執行，包括步驟：獲取包括待識別元素的特征區域圖像；獲取屏幕圖像；將所述屏幕圖像中的每個坐標點與特征區域圖像中的每個坐標點的顏色值分別進行比對，以便確定所述屏幕圖像中與所述特征區域圖像相匹配的目標區域；以及根據所述目標區域在屏幕圖像中的位置來確定所述特征區域圖像在屏幕圖像中的相對位置。

可選地，在根據本發明的元素定位方法中，將屏幕圖像中的每個坐標點與特征區域圖像中的每個坐標點的顏色值進行比對的步驟包括：遍歷所述屏幕圖像中的每個坐標點，如果所述屏幕圖像中的坐標點與特征區域圖像中的一個坐標點的顏色值相等，則：將所述屏幕圖像中的坐標點對應的預定區域中的每個坐標點與所述特征區域圖像中的相應的每個坐標點的顏色值進行比對，以確定所述預定區域是否與特征區域圖像相匹配；如果預定區域與特征區域圖像相匹配，則將該預定區域作為目標區域。

可選地，在根據本發明的元素定位方法中，確定預定區域是否與特征區域圖像相匹配的步驟包括：如果所述預定區域中的每個坐標點與所述特征區域圖像中的相應的每個坐標點的顏色值分別相等，則確定預定區域與所述特征區域圖像相匹配；如果所述預定區域中的每個坐標點與所述特征區域圖像中的相應的每個坐標點的顏色值不相等，則確定預定區域與所述特征區域圖像不匹配。

可選地，在根據本發明的元素定位方法中，還包括步驟：如果所述屏幕圖像中的坐標點與特征區域圖像中的每個坐標點的顏色值均不相等，則將屏幕圖像中的下一個坐標點與特征區域圖像中的每個坐標點的顏色值進行比對。

可選地，在根據本發明的元素定位方法中，確定預定區域是否與特征區域圖像相匹配的步驟還包括：確定匹配度；確定所述預定區域中與所述特征區域圖像中顏色值相等的坐標點的數量與坐標點總數量的比值，判斷該比值是否超過匹配度；如果所述比值超過匹配度，則確定該預定區域與所述特征區域圖像相匹配；如果所述比值不超過匹配度，則確定該預定區域與特征區域圖像不匹配。