[發明專利]一種界面元素探測識別方法、裝置、存儲介質及電子設備

在審

• 申請號: 202210081823.6
• 申請日: 2022-01-24
• 公開（公告）號: CN114428575A
• 公開（公告）日: 2022-05-03
• 發明（設計）人: 陳宏偉;饒玉田
• 申請（專利權）人: 京北方信息技術股份有限公司
• 主分類號: G06F3/0481
• 分類號: G06F3/0481;G06F3/0484;G06F9/451
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 李禮

1.一種界面元素探測識別方法，其特征在于，包括：

在監視窗口消息的鉤子打開的情況下，獲取與鼠標移動位置相關聯的元素應用類型；其中，所述元素應用類型包括Win32桌面程序、IE瀏覽器、webkit內核瀏覽器和java桌面程序；

確定與所述元素應用類型相匹配的元素識別算法信息；

根據所述元素識別算法信息，對鼠標移動位置的元素對象進行識別，得到目標元素對象；其中，所述元素對象包括基本屬性信息、隸屬對象信息、基本操作信息以及對象轉選擇串信息。

2.根據權利要求1所述的方法，其特征在于，獲取與鼠標移動位置相關聯的元素應用類型，包括：

通過預先確定的識別層接口對象獲取元素探測器；

基于所述元素探測器，確定與鼠標移動位置相關聯的元素應用類型。

3.根據權利要求1所述的方法，其特征在于，確定與所述元素應用類型相匹配的元素識別算法信息，包括：

從預先確定的候選元素識別算法信息中進行查找，確定與所述元素應用類型相匹配的元素識別算法信息；其中，所述候選元素識別算法信息包括Win32桌面程序元素識別算法信息、IE瀏覽器元素識別算法信息、webkit內核瀏覽器元素識別算法信息和Java桌面程序元素識別算法信息。

4.根據權利要求1所述的方法，其特征在于，根據所述元素識別算法信息，對鼠標移動位置的元素對象進行識別，得到目標元素對象，包括：

根據所述元素識別算法信息，調用目標接口對鼠標移動位置進行識別，得到元素對象；其中，所述目標接口包括應用程序與鉤子接口、網頁瀏覽與鉤子接口、瀏覽器擴展與鉤子接口以及訪問橋接器與鉤子接口；

對所述元素對象進行字符串轉換，得到目標元素對象。

5.根據權利要求4所述的方法，其特征在于，在根據所述元素識別算法信息，調用目標接口對鼠標移動位置進行識別，得到元素對象之后，所述方法還包括：

根據所述元素對象，確定子元素集合；

判斷鼠標移動位置是否處于子元素集合構成的四邊形內；

若處于，則計算子元素集合中元素的面積，得到目標面積；

根據所述目標面積，對所述鼠標移動位置的元素對象進行標記。

6.根據權利要求5所述的方法，其特征在于，判斷鼠標移動位置是否處于子元素集合構成的四邊形內，包括：

判斷鼠標移動位置與四邊形的每條邊組成的三角形面積之和是否等于四邊形面積；或，判斷鼠標移動位置與四邊形的每條邊的夾角之和是否等于四邊形角度；或，判斷鼠標移動位置與四邊形的交點是否滿足預設數量條件。

7.根據權利要求1所述的方法，其特征在于，在根據所述元素識別算法信息，對鼠標移動位置的元素對象進行識別，得到目標元素對象之后，所述方法還包括：

根據所述元素識別算法信息的調用接口，對目標元素對象進行解析，得到目標元素；

響應于輸入操作，對所述目標元素進行修改，得到修改后的目標元素。

8.一種界面元素探測識別裝置，其特征在于，包括：

元素應用類型獲取模塊，用于在監視窗口消息的鉤子打開的情況下，獲取與鼠標移動位置相關聯的元素應用類型；其中，所述元素應用類型包括Win32桌面程序、IE瀏覽器、webkit內核瀏覽器和java桌面程序；

元素識別算法信息確定模塊，用于確定與所述元素應用類型相匹配的元素識別算法信息；

目標元素對象得到模塊，用于根據所述元素識別算法信息，對鼠標移動位置的元素對象進行識別，得到目標元素對象；其中，所述元素對象包括基本屬性信息、隸屬對象信息、基本操作信息以及對象轉選擇串信息。

9.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行時實現如權利要求1-7中任一項所述的界面元素探測識別方法。

10.一種電子設備，包括存儲器，處理器及存儲在存儲器上并可在處理器運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現如權利要求1-7中任一項所述的界面元素探測識別方法。