[發明專利]一種用戶界面圖像中功能區域的識別方法及裝置

有效

• 申請號: 202010130055.X
• 申請日: 2020-02-28
• 公開（公告）號: CN111353503B
• 公開（公告）日: 2023-08-11
• 發明（設計）人: 戚嘉懿
• 申請（專利權）人: 北京字節跳動網絡技術有限公司
• 主分類號: G06V10/25
• 分類號: G06V10/25;G06V10/26;G06V10/28
• 代理公司: 北京中知法苑知識產權代理有限公司 11226
• 代理人: 李明;趙吉陽

本公開提供了一種用戶界面圖像中功能區域的識別方法及裝置，包括：對待檢測用戶界面圖像對應的二值圖像進行分割處理，得到至少一個封閉區域所構成的分割圖像，所述分割圖像的背景灰度等級為所述二值圖像中最低灰度等級；將對應的尺寸信息符合預設條件的所述分割圖像確定為目標分割圖像；對所述目標分割圖像進行像素反轉處理，將所述目標分割圖像轉換為以背景灰度等級為所述二值圖像中最高灰度等級的圖像；基于經過像素反轉處理后的所述目標分割圖像，確定出所述待檢測用戶界面圖像中的功能區域。

技術領域

本公開涉及圖像處理技術領域，具體而言，涉及一種用戶界面圖像中功能區域的識別方法及裝置。

背景技術

目前，各種應用軟件在開發過程中需要對各個應用界面進行測試，以確定各個應用界面的功能的可用性。為提高測試效率，人們開始采用各種測試工具，來模擬用戶的各種點擊操作。

測試工具在測試過程中，需要首先識別出用戶界面的各個功能區域(比如文本區域、圖片區域、控件區域等)，然后再對各個功能區域進行模擬點擊操作，相關技術中，有些應用軟件的用戶界面并未提供測試接口，從而使得測試工具無法通過后端代碼識別該用戶界面中的各個功能區域，從而無法進行測試。

相關技術中，對于為提供測試接口的用戶界面，可以通過圖像識別的方法，識別用戶界面圖像中的各個功能區域，但是在識別過程中，僅能識別以淺色(如白色)為背景的用戶界面圖像，對于包含多種深色背景顏色(如黑色)的用戶界面圖像，識別精度較低。

發明內容

本公開實施例至少提供一種用戶界面圖像中功能區域的識別方法及裝置。

第一方面，本公開實施例提供了一種用戶界面圖像中功能區域的識別方法，包括：

對待檢測用戶界面圖像對應的二值圖像進行分割處理，得到至少一個封閉區域所構成的分割圖像，所述分割圖像的背景灰度等級為所述二值圖像中最低灰度等級；

將對應的尺寸信息符合預設條件的所述分割圖像確定為目標分割圖像；

對所述目標分割圖像進行像素反轉處理，將所述目標分割圖像轉換為以背景灰度等級為所述二值圖像中最高灰度等級的圖像；

基于經過像素反轉處理后的所述目標分割圖像，確定出所述待檢測用戶界面圖像中的功能區域。

一種可能的實施方式中，所述將對應的尺寸信息符合預設條件的所述分割圖像確定為目標分割圖像，包括：

針對每一個所述分割圖像，確定該分割圖像與待檢測用戶界面圖像的尺寸比值；

將對應的所述尺寸比值大于第一設定值的分割圖像確定為所述目標分割圖像。

一種可能的實施方式中，所述方法還包括：

確定所述二值圖像中最高灰度值的像素點形成的封閉區域，作為第一封閉區域；

確定所述二值圖像中最低灰度值的像素點形成的封閉區域，作為第二封閉區域；

當所述第一封閉區域與所述第二封閉區域之間的相對位置關系滿足預設條件時，根據所述第一封閉區域確定所述待檢測用戶界面圖像中的功能區域。

一種可能的實施方式中，所述基于經過像素反轉處理后的所述目標分割圖像，確定出所述待檢測用戶界面圖像中的功能區域，包括：

針對每一個所述目標分割圖像，根據該目標分割圖像中各個像素點的位置，以及各個像素點的像素值，對所述目標分割圖像中的像素點進行聚合處理，并根據聚合結果，確定所述待檢測用戶界面圖像中的功能區域。

一種可能的實施方式中，在基于經過像素反轉處理后的所述目標分割圖像，確定出所述待檢測用戶界面圖像中的功能區域之后，所述方法還包括：

識別所述功能區域的類別信息；