[發(fā)明專(zhuān)利]結(jié)合RPA和AI的軟件界面元素的識(shí)別方法與裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202011126611.2
• 申請(qǐng)日: 2020-10-20
• 公開(kāi)（公告）號(hào): CN112231034A
• 公開(kāi)（公告）日: 2021-01-15
• 發(fā)明（設(shè)計(jì)）人: 張小勇;羅亮;褚瑞;李瑋
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京來(lái)也網(wǎng)絡(luò)科技有限公司;北京奔影網(wǎng)絡(luò)科技有限公司
• 主分類(lèi)號(hào): G06F9/451
• 分類(lèi)號(hào): G06F9/451
• 代理公司: 北京清亦華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 張大威

本申請(qǐng)?zhí)峁┮环N結(jié)合RPA和AI的軟件界面元素的識(shí)別方法與裝置，涉及RPA和AI領(lǐng)域，該方法包括：提取當(dāng)前軟件界面中的界面元素；基于目標(biāo)元素的結(jié)構(gòu)模式及所述界面元素，進(jìn)行相似度運(yùn)算；根據(jù)相似度運(yùn)算結(jié)果，確定所述目標(biāo)元素在當(dāng)前軟件界面上的分布信息。從而可以提升機(jī)器人流程自動(dòng)化過(guò)程中結(jié)合RPA和AI的對(duì)軟件界面上的界面元素的匹配準(zhǔn)確度，實(shí)現(xiàn)方式簡(jiǎn)單，效果穩(wěn)定可靠。

技術(shù)領(lǐng)域

本申請(qǐng)涉及機(jī)器人流程自動(dòng)化(Robotic Process Automation，簡(jiǎn)稱(chēng)RPA)、人工智能(Artificial Intelligence，簡(jiǎn)稱(chēng)AI)技術(shù)領(lǐng)域，尤其涉及一種結(jié)合RPA和AI的軟件界面元素的識(shí)別方法與裝置。

背景技術(shù)

機(jī)器人流程自動(dòng)化(Robotic Process Automation，簡(jiǎn)稱(chēng)RPA)是通過(guò)特定的“機(jī)器人軟件”，模擬人在計(jì)算機(jī)上的操作，按規(guī)則自動(dòng)執(zhí)行流程任務(wù)。人工智能(ArtificialIntelligence，簡(jiǎn)稱(chēng)AI)是研究、開(kāi)發(fā)用于模擬、延伸和擴(kuò)展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門(mén)技術(shù)科學(xué)。目前，RPA和AI技術(shù)具有自動(dòng)化程度高、精確度高、成本低的優(yōu)點(diǎn)，得到了廣泛的應(yīng)用。

現(xiàn)有技術(shù)中，為了保證自動(dòng)化流程的準(zhǔn)確性，軟件機(jī)器人在運(yùn)行流程時(shí)需要精準(zhǔn)地識(shí)別目標(biāo)元素的位置，并對(duì)其進(jìn)行自動(dòng)化操作。在遠(yuǎn)程桌面或虛擬機(jī)等應(yīng)用場(chǎng)景，一般是通過(guò)計(jì)算機(jī)視覺(jué)技術(shù)檢測(cè)界面元素，并提取其特征屬性作為在流程運(yùn)行時(shí)界面元素的匹配依據(jù)。

然而，這種匹配方式并不穩(wěn)定，很容易導(dǎo)致目標(biāo)元素匹配錯(cuò)誤或匹配失敗，使得自動(dòng)化流程的準(zhǔn)確度低下。

發(fā)明內(nèi)容

本申請(qǐng)?zhí)峁┮环N結(jié)合RPA和AI的軟件界面元素的識(shí)別方法與裝置，可以提升機(jī)器人流程自動(dòng)化過(guò)程中對(duì)軟件界面上的界面元素的匹配準(zhǔn)確度，實(shí)現(xiàn)方式簡(jiǎn)單，效果穩(wěn)定可靠。

第一方面，本申請(qǐng)?zhí)峁┮环N結(jié)合RPA和AI的軟件界面元素的識(shí)別方法，包括：

提取當(dāng)前軟件界面中的界面元素；

基于目標(biāo)元素的結(jié)構(gòu)模式及所述界面元素，進(jìn)行相似度運(yùn)算；

根據(jù)相似度運(yùn)算結(jié)果，確定所述目標(biāo)元素在當(dāng)前軟件界面上的分布信息。

在一種可能的設(shè)計(jì)中，所述提取當(dāng)前軟件界面中的界面元素，包括：

截取當(dāng)前軟件界面的界面圖像；

通過(guò)光學(xué)字符識(shí)別OCR技術(shù)，或者預(yù)先訓(xùn)練的深度學(xué)習(xí)模型，從所述界面圖像中提取出所有界面元素。

在一種可能的設(shè)計(jì)中，所述結(jié)構(gòu)模式，包括：

目標(biāo)元素及結(jié)構(gòu)元素組成的基元集合；以及基元集合中各元素兩兩之間的位置關(guān)系的位置關(guān)系集合。

在一種可能的設(shè)計(jì)中，所述基于目標(biāo)元素的結(jié)構(gòu)模式及所述界面元素，進(jìn)行相似度運(yùn)算，包括：

根據(jù)所述基元集合，確定當(dāng)前軟件界面中的所有近似基元集合；

對(duì)各近似基元集合，基于所述基元集合中各元素與所述基元集合中各元素的相似度，得到各近似基元集合的第一相似度集合；

基于各近似基元集合中兩兩元素之間的位置關(guān)系，與所述基元集合中對(duì)應(yīng)的兩兩元素之間的位置關(guān)系的相似度，確定各近似基元集合的第二相似度；

基于所述第一相似度集合及所述第二相似度，確定所述基元集合與各近似基元集合的總相似度。

在一種可能的設(shè)計(jì)中，根據(jù)所述基元集合，確定當(dāng)前軟件界面中的所有近似基元集合，包括：

查找與所述基元集合中的目標(biāo)元素匹配的界面元素，構(gòu)成目標(biāo)元素對(duì)應(yīng)的第一界面元素集合；