[發明專利]結合RPA與AI的軟件界面元素的匹配方法及裝置

在審

• 申請號: 202011126599.5
• 申請日: 2020-10-20
• 公開（公告）號: CN112231033A
• 公開（公告）日: 2021-01-15
• 發明（設計）人: 張小勇;羅亮;褚瑞;李瑋
• 申請（專利權）人: 北京來也網絡科技有限公司;北京奔影網絡科技有限公司
• 主分類號: G06F9/451
• 分類號: G06F9/451
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張大威

1.一種結合RPA與AI的軟件界面元素的匹配方法，其特征在于，包括：

采用光學字符識別(OpticalCharacter Recognition，OCR)技術提取當前軟件界面中的界面元素；

將目標元素的特征信息與所述當前軟件界面中的界面元素進行匹配，得到所述目標元素在當前軟件界面上的分布信息；

根據所述分布信息，執行對所述目標元素的訪問操作。

2.根據權利要求1所述的方法，其特征在于，所述采用OCR技術提取當前軟件界面中的界面元素，包括：

截取當前軟件界面的界面圖像；

通過光學字符識別OCR技術，或者預先訓練的深度學習模型，從所述界面圖像中提取出所有界面元素。

3.根據權利要求1所述的方法，其特征在于，將目標元素的特征信息與所述當前軟件界面中的界面元素進行匹配，得到所述目標元素在當前軟件界面上的分布信息，包括：

根據第一錨點元素對應的類別信息、位置信息、文本信息，從所述當前軟件界面中的查找與所述第一錨點元素匹配的第二錨點元素；

根據所述目標元素與所述第一錨點元素之間的位置關系，以及所述第二錨點元素在所述當前軟件界面中的位置，確定所述目標元素在當前軟件界面上的分布信息；所述分布信息包括：目標元素的至少一個形狀點的坐標信息、目標元素的尺寸信息；其中，所述形狀點用于界定所述目標元素包含的區域。

4.根據權利要求3所述的方法，其特征在于，在將目標元素的特征信息與所述當前軟件界面中的界面元素進行匹配之前，還包括：

截取模板軟件界面的界面圖像；

通過光學字符識別OCR技術，或者預先訓練的深度學習模型，從所述模板軟件界面的界面圖像中提取出所有界面元素作為候選元素；

從所述候選元素中選取目標元素，以及與所述目標元素關聯的第一錨點元素；其中，所述第一錨點元素包括：形態不變的圖標元素、文本元素、按鍵元素中的任一或任多項元素；

根據所述目標元素和所述第一錨點元素，生成所述目標元素的特征信息；所述目標元素的特征信息包括：所述目標元素與所述第一錨點元素之間的位置關系，以及所述第一錨點元素對應的類別信息、位置信息、文本信息。

5.根據權利要求1-4中任一項所述的方法，其特征在于，在根據所述分布信息，執行對所述目標元素的訪問操作之前，還包括：

將所述分布信息對應的區域和當前軟件界面中的界面元素進行重疊度檢測，得到重疊閾值；

若所述重疊閾值大于預設值，則執行對目標元素的訪問。

6.根據權利要求5所述的方法，其特征在于，還包括：

若所述重疊閾值不大于預設值，則確定所述目標元素無效，反饋匹配失敗提示信息。

7.一種結合RPA與AI的軟件界面元素的匹配裝置，其特征在于，包括：

提取模塊，用于采用光學字符識別(Optical Character Recognition，OCR)技術提取當前軟件界面中的界面元素；

匹配模塊，用于將目標元素的特征信息與所述當前軟件界面中的界面元素進行匹配，得到所述目標元素在當前軟件界面上的分布信息；

執行模塊，用于根據所述分布信息，執行對所述目標元素的訪問操作。

8.根據權利要求7所述的裝置，其特征在于，所述提取模塊，具體用于：

截取當前軟件界面的界面圖像；

通過光學字符識別OCR技術，或者預先訓練的深度學習模型，從所述界面圖像中提取出所有界面元素。