[發明專利]一種控件識別方法和裝置

在審

• 申請號: 201910022902.8
• 申請日: 2019-01-10
• 公開（公告）號: CN109871316A
• 公開（公告）日: 2019-06-11
• 發明（設計）人: 蔣曉海;謝春鴻
• 申請（專利權）人: 北京云測信息技術有限公司
• 主分類號: G06F11/36
• 分類號: G06F11/36
• 代理公司: 北京國昊天誠知識產權代理有限公司 11315
• 代理人: 劉昕;南霆

1.一種控件識別方法，其特征在于，包括：

獲取樣本數據集合，所述樣本數據集合中的樣本數據包括：用戶界面的界面截圖和所述用戶界面中的控件的屬性信息；

基于所述樣本數據，訓練目標檢測模型；

基于訓練完成的目標檢測模型，識別目標用戶界面中的控件。

2.根據權利要求1所述的方法，其特征在于，所述屬性信息包括：區域信息，所述區域信息用于描述控件在用戶界面中所占的區域；

其中，在獲取樣本數據集合之前，所述方法還包括：

獲取用戶界面對應的控件樹；

基于所述控件樹，確定所述用戶界面中的各個控件的區域信息。

3.根據權利要求1所述的方法，其特征在于，所述屬性信息還包括：標簽信息，所述標簽信息用于描述為控件設置的標注信息；

其中，在獲取樣本數據集合之前，所述方法還包括：

確定所述用戶界面中的控件關聯的第一測試腳本記錄的控件名稱；

基于所述控件名稱，生成所述控件的標簽信息。

4.根據權利要求3所述的方法，其特征在于，還包括：

在確定所述用戶界面中存在控件之后且執行所述第一測試腳本中的相關操作之前，截取所述用戶界面的界面截圖。

5.根據權利要求1至3中任一項所述的方法，其特征在于，所述基于訓練完成的目標檢測模型，識別目標用戶界面中的控件，包括：

確定第一目標界面截圖，所述第一目標界面截圖為所述目標用戶界面的界面截圖；

基于所述訓練完成的目標檢測模型，對所述第一目標界面截圖中的各個控件的控件圖像進行特征匹配處理；

基于匹配結果，確定所述所述第一目標界面截圖中的各個控件的識別結果。

6.根據權利要求5所述的方法，其特征在于，還包括：

基于所述匹配結果，確定通過識別的控件對應的匹配度；

基于所述匹配度，確定所述通過識別的控件對應的可信度，并將所述可信度添加至所述通過識別的控件的屬性信息中。

7.根據權利要求5所述的方法，其特征在于，還包括：

確定識別出的控件的屬性信息，并生成所述目標用戶界面對應的控件分布數據。

8.根據權利要求7所述的方法，其特征在于，還包括：

確定輸入焦點在所述目標用戶界面中的位置信息；

基于所述目標用戶界面對應的控件分布數據，確定所述位置信息對應的目標控件；

對所述目標控件進行預設操作，生成第二測試腳本的腳本步驟，并將所述目標控件的屬性信息記錄至所述第二測試腳本。

9.根據權利要求8所述的方法，其特征在于，還包括：

獲取第二目標界面截圖，所述第二目標界面截圖為回放所述第二測試腳本至目標腳本步驟時采集的；

基于所述訓練完成的目標檢測模型，確定所述第二目標界面截圖對應的控件分布數據；

基于所述第二測試腳本記錄的控件的屬性信息和所述控件分布數據，確定所述目標腳本步驟關聯的控件，并執行所述目標腳本步驟。

10.一種控件識別裝置，其特征在于，包括：

獲取模塊，用于獲取樣本數據集合，所述樣本數據集中的樣本數據包括：用戶界面的界面截圖和所述用戶界面中的控件的屬性信息；

訓練模塊，用于基于所述樣本數據，訓練目標檢測模型；

識別模塊，用于基于訓練完成的目標檢測模型，識別目標用戶界面中的控件。