[發明專利]目標元素定位方法、裝置以及用戶界面測試方法、裝置

有效

• 申請號: 201710997221.4
• 申請日: 2017-10-20
• 公開（公告）號: CN107845113B
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 楊瑾;劉澤文;楊文亮;祝中良
• 申請（專利權）人: 阿里巴巴（中國）有限公司
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06F11/36
• 代理公司: 北京展翼知識產權代理事務所(特殊普通合伙) 11452
• 代理人: 屠長存

1.一種在被測對象中對目標元素進行定位的方法，包括：

圖像獲取步驟，獲取所述目標元素的目標圖像和所述被測對象的被測圖像；

圖像分析步驟，對所述目標圖像和所述被測圖像進行圖像分析，以確定所述目標元素在所述被測對象中的位置，

所述圖像分析步驟包括圖像匹配步驟：基于表征所述目標圖像的目標圖像特征和所述被測圖像中包含的查詢圖像特征，確定所述被測圖像中與所述目標圖像相匹配的匹配圖像特征區域，所述匹配圖像特征區域具有與所述目標圖像特征相匹配的查詢圖像特征，

所述目標圖像特征是所述目標圖像中多個目標特征點之間的相對位置關系，所述匹配圖像特征區域是基于所述被測圖像中多個查詢特征點定義的區域，所述多個查詢特征點之間的相對位置關系與所述目標圖像中多個目標特征點之間的相對位置關系相匹配，

其中，目標元素由多個圖形組合而成，目標特征點是各個圖形的中心點。

2.根據權利要求1所述的方法，其中，所述圖像分析步驟還包括：

從所述目標圖像中提取所述目標圖像特征；以及/或者

從所述被測圖像中提取所述查詢圖像特征。

3.根據權利要求1或2所述的方法，其中，所述圖像分析步驟還包括：

定位步驟，基于所述匹配圖像特征區域在所述被測圖像中的位置，確定所述目標元素在所述被測對象中的位置。

4.根據權利要求3所述的方法，還包括，

計算所述匹配圖像特征區域的中心點在所述被測圖像中的坐標，作為所述目標元素在所述被測對象的坐標位置。

5.一種用戶界面測試方法，包括：

定位步驟，以所述用戶界面為被測對象，使用根據權利要求1-4中任何一項所述的方法，確定目標元素在所述用戶界面中的位置；

測試步驟，基于所述位置執行對應于所述目標元素的操作，以測試所述目標元素的功能。

6.根據權利要求5所述的方法，還包括：

確定所述被測對象中所述目標元素的狀態；

基于所述狀態判斷所述目標元素是否可用。

7.一種在被測對象中對目標元素進行定位的裝置，包括：

圖像獲取裝置，用于獲取所述目標元素的目標圖像和所述被測對象的被測圖像；

圖像分析裝置，用于對所述目標圖像和所述被測圖像進行圖像分析，以確定所述目標元素在所述被測對象中的位置，

所述圖像分析裝置包括：圖像匹配裝置，用于基于表征所述目標圖像的目標圖像特征和所述被測圖像中包含的查詢圖像特征，確定所述被測圖像中與所述目標圖像相匹配的匹配圖像特征區域，所述匹配圖像特征區域具有與所述目標圖像特征相匹配的查詢圖像特征，

所述目標圖像特征是所述目標圖像中多個目標特征點之間的相對位置關系，所述匹配圖像特征區域是基于所述被測圖像中多個查詢特征點定義的區域，所述多個查詢特征點之間的相對位置關系與所述目標圖像中多個目標特征點之間的相對位置關系相匹配，

其中，目標元素由多個圖形組合而成，目標特征點是各個圖形的中心點。

8.根據權利要求7所述的裝置，其中，所述圖像分析裝置還包括：

目標圖像特征提取裝置，用于從所述目標圖像中提取所述目標圖像特征；以及/或者

查詢圖像特征提取裝置，用于從所述被測圖像中提取所述查詢圖像特征。

9.根據權利要求7或8所述的裝置，其中，所述圖像分析裝置還包括：

定位子裝置，基于所述匹配圖像特征區域在所述被測圖像中的位置，確定所述目標元素在所述被測對象中的位置。