[發明專利]一種用戶界面圖像中功能區域的識別方法及裝置

有效

• 申請號: 202010130055.X
• 申請日: 2020-02-28
• 公開（公告）號: CN111353503B
• 公開（公告）日: 2023-08-11
• 發明（設計）人: 戚嘉懿
• 申請（專利權）人: 北京字節跳動網絡技術有限公司
• 主分類號: G06V10/25
• 分類號: G06V10/25;G06V10/26;G06V10/28
• 代理公司: 北京中知法苑知識產權代理有限公司 11226
• 代理人: 李明;趙吉陽

1.一種用戶界面圖像中功能區域的識別方法，其特征在于，包括：

對待檢測用戶界面圖像對應的二值圖像進行分割處理，得到至少一個封閉區域所構成的分割圖像，所述分割圖像的背景灰度等級為所述二值圖像中最低灰度等級；

將對應的尺寸信息符合預設條件的所述分割圖像確定為目標分割圖像；

對所述目標分割圖像進行像素反轉處理，將所述目標分割圖像轉換為以背景灰度等級為所述二值圖像中最高灰度等級的圖像；

基于經過像素反轉處理后的所述目標分割圖像，確定出所述待檢測用戶界面圖像中的功能區域，以基于所述功能區域的類別信息，使用與所述功能區域的類別信息對應的測試方法，對功能區域進行測試；其中，所述功能區域包括按鈕區域以及，文字區域和圖片區域中的至少一種。

2.根據權利要求1所述的方法，其特征在于，所述將對應的尺寸信息符合預設條件的所述分割圖像確定為目標分割圖像，包括：

針對每一個所述分割圖像，確定該分割圖像與待檢測用戶界面圖像的尺寸比值；

將對應的所述尺寸比值大于第一設定值的分割圖像確定為所述目標分割圖像。

3.根據權利要求1所述的方法，其特征在于，所述方法還包括：

確定所述二值圖像中最高灰度值的像素點形成的封閉區域，作為第一封閉區域；

確定所述二值圖像中最低灰度值的像素點形成的封閉區域，作為第二封閉區域；

當所述第一封閉區域與所述第二封閉區域之間的相對位置關系滿足預設條件時，根據所述第一封閉區域確定所述待檢測用戶界面圖像中的功能區域。

4.根據權利要求1所述的方法，其特征在于，所述基于經過像素反轉處理后的所述目標分割圖像，確定出所述待檢測用戶界面圖像中的功能區域，包括：

針對每一個所述目標分割圖像，根據該目標分割圖像中各個像素點的位置，以及各個像素點的像素值，對所述目標分割圖像中的像素點進行聚合處理，并根據聚合結果，確定所述待檢測用戶界面圖像中的功能區域。

5.根據權利要求1所述的方法，其特征在于，在基于經過像素反轉處理后的所述目標分割圖像，確定出所述待檢測用戶界面圖像中的功能區域之后，所述方法還包括：

識別所述功能區域的類別信息；

基于所述功能區域的類別信息，為所述待檢測用戶界面圖像生成功能區域標識信息。

6.根據權利要求5所述的方法，其特征在于，在基于所述功能區域的類別信息，為所述待檢測用戶界面圖像生成功能區域標識信息之后，所述方法還包括：

存儲所述功能區域標識信息；

當再次識別到其他待檢測用戶界面圖像中的功能區域的類別信息后，基于再次識別到的類別信息、以及存儲的所述功能區域標識信息，確定是否需要對所述其他待檢測用戶界面圖像中的功能區域進行測試。

7.一種用戶界面圖像中功能區域的識別裝置，其特征在于，包括：

分割模塊，用于對待檢測用戶界面圖像對應的二值圖像進行分割處理，得到至少一個封閉區域所構成的分割圖像，所述分割圖像的背景灰度等級為所述二值圖像中最低灰度等級；

第一確定模塊，用于將對應的尺寸信息符合預設條件的所述分割圖像確定為目標分割圖像；

像素反轉模塊，用于對所述目標分割圖像進行像素反轉處理，將所述目標分割圖像轉換為以背景灰度等級為所述二值圖像中最高灰度等級的圖像；

第二確定模塊，用于基于經過像素反轉處理后的所述目標分割圖像，確定出所述待檢測用戶界面圖像中的功能區域，以基于所述功能區域的類別信息，使用與所述功能區域的類別信息對應的測試方法，對功能區域進行測試；其中，所述功能區域包括按鈕區域以及，文字區域和圖片區域中的至少一種。

8.一種計算機設備，其特征在于，包括：處理器、存儲器和總線，所述存儲器存儲有所述處理器可執行的機器可讀指令，當計算機設備運行時，所述處理器與所述存儲器之間通過總線通信，所述機器可讀指令被所述處理器執行時執行如權利要求1至6任一所述的用戶界面圖像中功能區域的識別的步驟。

9.一種計算機可讀存儲介質，其特征在于，該計算機可讀存儲介質上存儲有計算機程序，該計算機程序被處理器運行時執行如權利要求1至6任意一項所述的用戶界面圖像中功能區域的識別的步驟。