[發明專利]一種界面元素探測識別方法、裝置、存儲介質及電子設備

在審

• 申請號: 202210081823.6
• 申請日: 2022-01-24
• 公開（公告）號: CN114428575A
• 公開（公告）日: 2022-05-03
• 發明（設計）人: 陳宏偉;饒玉田
• 申請（專利權）人: 京北方信息技術股份有限公司
• 主分類號: G06F3/0481
• 分類號: G06F3/0481;G06F3/0484;G06F9/451
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 李禮

本申請實施例公開了一種界面元素探測識別方法、裝置、存儲介質及電子設備。該方法包括：在監視窗口消息的鉤子打開的情況下，獲取與鼠標移動位置相關聯的元素應用類型；其中，所述元素應用類型包括Win32桌面程序、IE瀏覽器、webkit內核瀏覽器和java桌面程序；確定與所述元素應用類型相匹配的元素識別算法信息；根據所述元素識別算法信息，對鼠標移動位置的元素對象進行識別，得到目標元素對象；其中，所述元素對象包括基本屬性信息、隸屬對象信息、基本操作信息以及對象轉選擇串信息。本技術方案，可以根據元素應用類型自動識別元素對象，可以有效的屏蔽各種應用場景中的技術復雜度，提高了元素的識別精度，減少了資源的浪費。

技術領域

本申請實施例涉及計算機自動化技術領域，尤其涉及一種界面元素探測識別方法、裝置、存儲介質及電子設備。

背景技術

隨著全球數字化經濟的深入，各行業開始實施數字化轉型，以實現降本增效開源節流的目的。其中，RPA(Robotic process automation，機器人流程自動化)的弱耦合性、易操作、部署便捷、效率高等特性受到了各行業的青睞，從而成為重要的企業數字化轉型工具之一。同時為了進一步提升RPA產能，很多企業開始通過RPA+AI+創新技術的超級自動化，將費時、費力的非結構化數據業務實現自動化。因此一種高效的、準確的、跨平臺的計算機系統元素識別技術賦能計算機自動化應用就減少研發成本、專注于業務研發來說是非常重要的。

計算機自動化領域中當前界面元素探測識別主要采用MSAA(Microsoft ActiveAccessibility)、UIA(Microsoft User Interface Automation)、MSHTML、瀏覽器擴展(Chrome Extension)和JAB(Java Access Bridge)等技術。

由于各種軟件系統使用的技術棧以及和它運行的操作系統不同，當前界面元素探測識別方法對于各種復雜場景往往很難滿足需求，需要大量的人力物力根據不同場景結合不同場景進行改進。

發明內容

本申請實施例提供一種界面元素探測識別方法、裝置、存儲介質及電子設備，根據元素應用類型自動識別元素對象，可以有效的屏蔽各種應用場景中的技術復雜度，提高了元素的識別精度，減少了資源的浪費。

第一方面，本申請實施例提供了一種界面元素探測識別方法，該方法包括：

在監視窗口消息的鉤子打開的情況下，獲取與鼠標移動位置相關聯的元素應用類型；其中，所述元素應用類型包括Win32桌面程序、IE瀏覽器、webkit內核瀏覽器和java桌面程序；

確定與所述元素應用類型相匹配的元素識別算法信息；

根據所述元素識別算法信息，對鼠標移動位置的元素對象進行識別，得到目標元素對象；其中，所述元素對象包括基本屬性信息、隸屬對象信息、基本操作信息以及對象轉選擇串信息。

第二方面，本申請實施例提供了一種界面元素探測識別裝置，該裝置包括：

元素應用類型獲取模塊，用于在監視窗口消息的鉤子打開的情況下，獲取與鼠標移動位置相關聯的元素應用類型；其中，所述元素應用類型包括Win32桌面程序、IE瀏覽器、webkit內核瀏覽器和java桌面程序；

元素識別算法信息確定模塊，用于確定與所述元素應用類型相匹配的元素識別算法信息；

目標元素對象得到模塊，用于根據所述元素識別算法信息，對鼠標移動位置的元素對象進行識別，得到目標元素對象；其中，所述元素對象包括基本屬性信息、隸屬對象信息、基本操作信息以及對象轉選擇串信息。

第三方面，本申請實施例提供了一種計算機可讀存儲介質，其上存儲有計算機程序，該程序被處理器執行時實現如本申請實施例所述的界面元素探測識別方法。