[發(fā)明專利]一種通用的界面元素自動探測系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202110478702.0
• 申請日: 2021-04-30
• 公開（公告）號: CN113176922A
• 公開（公告）日: 2021-07-27
• 發(fā)明（設(shè)計(jì)）人: 劉春剛;李海強(qiáng);孫名峰;陸晨
• 申請（專利權(quán)）人: 上海云擴(kuò)信息科技有限公司
• 主分類號: G06F9/451
• 分類號: G06F9/451
• 代理公司: 北京盛凡智榮知識產(chǎn)權(quán)代理有限公司 11616
• 代理人: 徐佳慧

本發(fā)明公開了一種通用的界面元素自動探測系統(tǒng)，所述的通用的界面元素自動探測系統(tǒng)包含可擴(kuò)展的元素選擇器schema、智能錄制器和元素探測器，Schema定義了一個(gè)樹形結(jié)構(gòu)，智能錄制器是一個(gè)集成的元素錄制單元，智能錄制器是一個(gè)集成的元素錄制單元。本系統(tǒng)中元素選擇器Schema定義可擴(kuò)展，適配各種類型的應(yīng)用自動化技術(shù)；智能錄制技術(shù)，自動選擇錄制技術(shù)錄制不同的應(yīng)用；具有很好的驗(yàn)證體驗(yàn)，驗(yàn)證過程按照節(jié)點(diǎn)有序進(jìn)行，失敗后可以輕松定位到節(jié)點(diǎn)層級；針對不同類型的應(yīng)用，不同的自動化技術(shù)都可以顯示控件樹，包括不可見元素和重疊元素，并且支持產(chǎn)生定位選擇器。

技術(shù)領(lǐng)域

本發(fā)明提供一種通用的界面元素自動探測系統(tǒng)，具體涉及各個(gè)平臺的自動化技術(shù)領(lǐng)域。

背景技術(shù)

RPA(Robotic Process Automation)，即機(jī)器人流程自動化。它是替代人工的一種工作方式，用于解放人力于重復(fù)冗雜和有規(guī)則的工作流中。實(shí)現(xiàn)機(jī)器人流程自動化指的是非侵入式的自動化，即采用不同的識別技術(shù)來定位目標(biāo)元素，而非注入代碼的形式。

準(zhǔn)確定位目標(biāo)元素是所有RPA產(chǎn)品的核心技術(shù)。當(dāng)前幾乎所有RPA產(chǎn)品都通過選擇器(Selector)描述目標(biāo)元素的特征，然后根據(jù)這些特征定位目標(biāo)元素，并在目標(biāo)元素上完成點(diǎn)擊、輸入文本等鼠標(biāo)鍵盤自動化操作。

不同類型的應(yīng)用有不同的自動化技術(shù)和框架，比如Windows桌面應(yīng)用有UIA/MSAA，Web應(yīng)用根據(jù)瀏覽器類型有不同的自動化技術(shù)，Java程序有JAB，安卓有Air test/Appium，iOS有WDA/Appium等。并且不同的自動化技術(shù)對于元素的查找方式以及對元素的控制各不相同。對于元素的定位，也有多種方式，利用上述的自動化技術(shù)獲取UI控件樹信息，利用控件屬性特征集合來唯一定位目標(biāo)元素；利用圖像識別定位目標(biāo)區(qū)域；利用ComputerVision，OCR文本識別的方式來定位目標(biāo)區(qū)域等等。RPA產(chǎn)品中對于元素的錄制，定位和編輯體驗(yàn)至關(guān)重要，在實(shí)際場景中，會有如下問題導(dǎo)致錄制定位失敗或者定位到錯(cuò)誤的控件上：

1)不可見元素，但其實(shí)在界面樹中確實(shí)存在；

2)雖然可見，但是和其他元素位置重合或者被遮擋，自動錄制的時(shí)候無法指定到期望的控件元素上。

雖然市場上已經(jīng)有相應(yīng)的產(chǎn)品來實(shí)現(xiàn)各個(gè)平臺的自動化，但他們的方案卻各不相同，體驗(yàn)也不一樣，這里匯總一下它們需要改進(jìn)的地方：

1)選擇定義不夠清晰，難以閱讀；

2)自動化框架支持并不完善，還不能隨意切換自動化技術(shù)；

3)選擇器編輯功能不夠豐富，而且內(nèi)容不方便遷移；

4)不支持圖像識別或者錄制時(shí)候在圖像識別和元素識別之前切換不夠智能。

發(fā)明內(nèi)容

本發(fā)明的目的就是為了解決以上問題，提供一種通用的界面元素自動探測系統(tǒng)，以自動識別不同類型的應(yīng)用，多種自動化技術(shù)的元素自動探測技術(shù)，能夠智能切換自動化技術(shù)，展示詳細(xì)的控件樹，根據(jù)用戶選擇的控件元素自動產(chǎn)生Selector。

為實(shí)現(xiàn)上述目的，本發(fā)明一種通用的界面元素自動探測系統(tǒng)包含：可擴(kuò)展的元素選擇器schema、智能錄制器和元素探測器，Schema定義了一個(gè)樹形結(jié)構(gòu)，智能錄制器是一個(gè)集成的元素錄制單元，智能錄制器是一個(gè)集成的元素錄制單元。

元素選擇器schema第一層ApplicationMetaDataType包含應(yīng)用當(dāng)前進(jìn)程相關(guān)信息，進(jìn)程名ProcessName，進(jìn)程運(yùn)行參數(shù)Parameters，程序文件路徑FilePathChildControls包含目標(biāo)元素各層級定位信息，包含窗口信息，父節(jié)點(diǎn)信息和自身信息；