[發(fā)明專利]目標(biāo)元素定位方法、裝置以及用戶界面測試方法、裝置

有效

• 申請?zhí)枺?/td>: 201710997221.4
• 申請日: 2017-10-20
• 公開（公告）號: CN107845113B
• 公開（公告）日: 2021-07-30
• 發(fā)明（設(shè)計）人: 楊瑾;劉澤文;楊文亮;祝中良
• 申請（專利權(quán)）人: 阿里巴巴（中國）有限公司
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06F11/36
• 代理公司: 北京展翼知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 11452
• 代理人: 屠長存

本發(fā)明公開了一種目標(biāo)元素的定位方法、裝置以及用戶界面測試方法、裝置。其中，獲取目標(biāo)元素的目標(biāo)圖像和被測對象的被測圖像；對目標(biāo)圖像和被測圖像進(jìn)行圖像分析，以確定目標(biāo)元素在被測對象中的位置。由此，通過將圖像分析技術(shù)應(yīng)用到在被測對象中對目標(biāo)元素進(jìn)行定位的方案中，能夠高效地實現(xiàn)對被測對象中的目標(biāo)元素的精準(zhǔn)定位，進(jìn)一步提高測試的效率。

技術(shù)領(lǐng)域

本發(fā)明涉及自動化測試領(lǐng)域，特別涉及一種在被測對象中對目標(biāo)元素進(jìn)行定位的方法、裝置以及用戶界面測試方法、裝置。

背景技術(shù)

隨著移動終端技術(shù)的迅速發(fā)展，移動終端不斷推陳出新。相應(yīng)地，新款產(chǎn)品的測試任務(wù)也就不斷加大。與傳統(tǒng)手工測試相比，自動化測試具有節(jié)省人力、時間、硬件資源、提高工作效率和判斷精準(zhǔn)性等優(yōu)點，正在被逐漸地引入到被測對象的測試工作中。而在自動化測試中，對目標(biāo)元素進(jìn)行定位是比較重要且困難的。

目前的自動化測試框架(例如，Appium)能夠通過采用多種定位方式或途徑實現(xiàn)對目標(biāo)元素的定位，如通過文字定位、ID定位、Name定位、XPath定位等。然而，現(xiàn)有的對目標(biāo)元素進(jìn)行定位的方法仍然存在諸多限制，在某些情況下，如對于某些動態(tài)繪制的元素、或者使用定制瀏覽器內(nèi)核的頁面中的元素等，仍然會出現(xiàn)找不到目標(biāo)元素的問題，無法精準(zhǔn)確定目標(biāo)元素的位置。

因此，仍然需要一種能夠高效、精準(zhǔn)地對目標(biāo)元素進(jìn)行定位的方案。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種目標(biāo)元素定位方法、裝置和用戶界面測試方法、裝置，其能夠高效、精準(zhǔn)地對目標(biāo)元素進(jìn)行定位。

根據(jù)本發(fā)明的一個方面，提供了一種在被測對象中對目標(biāo)元素進(jìn)行定位的方法，包括：圖像獲取步驟，獲取目標(biāo)元素的目標(biāo)圖像和被測對象的被測圖像；以及圖像分析步驟，對目標(biāo)圖像和被測圖像進(jìn)行圖像分析，以確定目標(biāo)元素在被測對象中的位置。

由此，通過一種或多種圖像分析技術(shù)對獲取的圖像進(jìn)行分析，能夠高效、精準(zhǔn)地對目標(biāo)元素進(jìn)行定位。

優(yōu)選地，圖像分析步驟可以包括：圖像匹配步驟，基于表征目標(biāo)圖像的目標(biāo)圖像特征和被測圖像中包含的查詢圖像特征，確定被測圖像中與目標(biāo)圖像相匹配的匹配圖像特征區(qū)域，匹配圖像特征區(qū)域具有與目標(biāo)圖像特征相匹配的查詢圖像特征。

由此，以圖像特征為基礎(chǔ)對兩圖像進(jìn)行匹配分析，提高定位的精準(zhǔn)性。

優(yōu)選地，圖像分析步驟還包括：從目標(biāo)圖像中提取目標(biāo)圖像特征；以及/或者從被測圖像中提取查詢圖像特征。

這樣，根據(jù)具體應(yīng)用，分別提取圖像特征，以便于進(jìn)行圖像匹配。

優(yōu)選地，圖像分析步驟還可以包括：定位步驟，基于匹配圖像特征區(qū)域在被測圖像中的位置，確定目標(biāo)元素在被測對象中的位置。

由此，通過圖像匹配，實現(xiàn)目標(biāo)元素在被測對象中的定位。

優(yōu)選地，目標(biāo)圖像特征可以是目標(biāo)圖像中多個目標(biāo)特征點之間的相對位置關(guān)系，匹配圖像特征區(qū)域可以是基于被測圖像中多個查詢特征點定義的區(qū)域，多個查詢特征點之間的相對位置關(guān)系與目標(biāo)圖像中多個特征點之間的相對位置關(guān)系相匹配，計算匹配圖像特征區(qū)域的中心點在被測對象的圖像中的坐標(biāo)，作為目標(biāo)元素在被測對象的坐標(biāo)位置。

由此，以目標(biāo)特征點之間的相對位置關(guān)系作為目標(biāo)圖像特征，特征識別較為簡單。以匹配圖像特征區(qū)域的中心點坐標(biāo)作為目標(biāo)元素的坐標(biāo)，能夠確保所確定的目標(biāo)元素坐標(biāo)在被測對象上，從而在后續(xù)的測試中基于該坐標(biāo)進(jìn)行的點擊等操作能夠?qū)崿F(xiàn)對目標(biāo)元素的響應(yīng)操作。根據(jù)本發(fā)明的另一方面，還提供了一種用戶界面測試方法，包括：定位步驟，以用戶界面為被測對象，使用根據(jù)上述在被檢對象中對目標(biāo)元素進(jìn)行定位的方法，確定目標(biāo)元素在用戶界面中的位置；測試步驟，基于位置執(zhí)行對應(yīng)于目標(biāo)元素的操作，以測試目標(biāo)元素的功能。

由此，基于目標(biāo)元素的位置，可以快速執(zhí)行對應(yīng)與目標(biāo)元素的點擊或查詢等操作，實現(xiàn)測試目的。