[發明專利]一種應用于用戶界面中的控件識別方法及裝置

在審

• 申請號: 201910838588.0
• 申請日: 2019-09-05
• 公開（公告）號: CN110532056A
• 公開（公告）日: 2019-12-03
• 發明（設計）人: 王明星;黃晶;羅勇冠
• 申請（專利權）人: 騰訊科技(深圳)有限公司
• 主分類號: G06F9/451
• 分類號: G06F9/451;G06F11/36
• 代理公司: 44285 深圳市深佳知識產權代理事務所(普通合伙)
• 代理人: 吳磊<國際申請>=<國際公布>=<進入國

1.一種應用于用戶界面中的控件識別方法，其特征在于，包括：

實時獲取用戶界面和所述用戶界面對應的控制節點信息，所述用戶界面用于確定界面截圖；

根據所述控制節點信息確定多個控制節點的位置，并將所述界面截圖基于所述控制節點進行切分，以得到多個子截圖；

確定所述控制節點對應的界面控件，以建立各個時刻所述界面控件與所述子截圖之間的關聯關系；

根據所述關聯關系識別當前用戶界面中的界面控件，以得到所述當前用戶界面的界面控件信息。

2.根據權利要求1所述的方法，其特征在于，所述根據所述控制節點信息確定多個控制節點的位置，并將所述界面截圖基于所述控制節點進行切分，以得到多個子截圖之后，所述方法還包括：

獲取所述子截圖的屬性信息；

根據所述屬性信息確定所述子截圖的度量值或圖片指紋，所述度量值包括長度、寬度或面積。

3.根據權利要求2所述的方法，其特征在于，所述根據所述關聯關系識別當前用戶界面中的界面控件信息，包括：

獲取當前用戶界面和所述當前用戶界面對應的當前控制節點信息，所述當前用戶界面用于確定當前界面截圖；

根據所述當前控制節點信息確定多個當前控制節點的位置，并將所述當前界面截圖基于所述當前控制節點進行切分，以得到多個當前子截圖；

遍歷與所述當前子截圖相似度滿足預設條件的所述子截圖，并根據所述關聯關系確定對應的界面控件信息，所述預設條件基于所述屬性信息的相似度設定。

4.根據權利要求3所述的方法，其特征在于，所述遍歷與所述當前子截圖相似度滿足預設條件的所述子截圖，包括：

確定所述當前子截圖的度量信息；

若所述當前子截圖的度量信息與子截圖的度量信息相比滿足預設條件，則將所述當前子截圖與所述子截圖關聯。

5.根據權利要求3所述的方法，其特征在于，所述遍歷與所述當前子截圖相似度滿足預設條件的所述子截圖，包括：

根據散列函數生成所述當前子截圖的散列值，所述散列值用于指示所述當前子截圖的圖片指紋；

若所述當前子截圖的圖片指紋與子截圖的圖片指紋相比滿足預設條件，則將所述當前子截圖與所述子截圖關聯。

6.根據權利要求1-5任一項所述的方法，其特征在于，所述根據所述控制節點信息確定多個控制節點的位置，并將所述界面截圖基于所述控制節點進行切分，以得到多個子截圖，包括：

獲取所述控制節點的權重信息，所述權重信息用于指示所述控制節點的識別優先級；

根據所述控制節點信息確定多個所述控制節點的位置；

根據所述權重信息依次對所述界面截圖基于所述控制節點進行切分，以得到多個子截圖。

7.根據權利要求1-5任一項所述的方法，其特征在于，所述根據所述關聯關系識別當前用戶界面中的界面控件，包括：

確定對于所述當前用戶界面的操作指令信息；

根據所述操作指令信息確定應用于所述當前用戶界面的界面控件；

根據所述關聯關系識別當前用戶界面中的界面控件的界面控件信息。

8.一種應用于用戶界面中的控件識別裝置，其特征在于，包括：

獲取單元，用于實時獲取用戶界面和所述用戶界面對應的控制節點信息，所述用戶界面用于確定界面截圖；

切分單元，用于根據所述控制節點信息確定多個控制節點的位置，并將所述界面截圖基于所述控制節點進行切分，以得到多個子截圖；

關聯單元，用于確定所述控制節點對應的界面控件，以建立所述界面控件與所述子截圖之間的關聯關系；

識別單元，用于根據所述關聯關系識別當前用戶界面中的界面控件，以得到所述當前用戶界面的界面控件信息。

9.一種計算機設備，其特征在于，所述計算機設備包括處理器以及存儲器：

所述存儲器用于存儲程序代碼；所述處理器用于根據所述程序代碼中的指令執行權利要求1至7任一項所述的控件識別方法。

10.一種計算機可讀存儲介質，所述計算機可讀存儲介質中存儲有指令，當其在計算機上運行時，使得計算機執行上述權利要求1至7所述的控件識別方法。