[發明專利]一種界面元素的處理方法、裝置和電子設備

在審

• 申請號: 202011607089.X
• 申請日: 2020-12-30
• 公開（公告）號: CN112612469A
• 公開（公告）日: 2021-04-06
• 發明（設計）人: 吳益明;王孟琦
• 申請（專利權）人: 深圳市聯諦信息無障礙有限責任公司
• 主分類號: G06F8/38
• 分類號: G06F8/38;G06F9/451
• 代理公司: 深圳市六加知識產權代理有限公司 44372
• 代理人: 江曉蘇

1.一種讓GUI解析程序識別并可對移動設備app不支持Accessibility的界面元素進行操作的方法，其特征在于，所述方法包括：

獲取用戶對應用程序界面元素的操作；

在檢測到所述操作在預設時間內未被響應時，從屏幕路標數據庫中獲取所述用戶操作的所述界面元素的標識信息；其中，所述屏幕路標數據庫包括至少一個界面元素和所述界面元素對應的標識信息；

控制圖形用戶界面程序加載所述標識信息，以獲得所述界面元素對應的圖形用戶界面信息。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括建立所述屏幕路標數據庫的步驟，所述建立所述屏幕路標數據庫包括：

在檢測到應用程序的圖形用戶界面的界面元素無法被所述圖形用戶界面程序掃描并解析時，在屏幕路標數據庫中記錄所述界面元素所在界面或窗口的ID信息，以及所述界面元素的像素信息，所述ID信息和所述像素信息組成所述標識信息。

3.根據權利要求1或2所述的方法，其特征在于，所述方法還包括：

接收用戶對所述屏幕路標數據庫中記錄的界面元素的編輯操作，所述編輯操作包括定義所述界面元素的屬性。

4.根據權利要求3所述的方法，其特征在于，所述方法還包括：

獲取所述屏幕路標數據庫中屬于相同類別的界面元素，并將所述界面元素和所述界面元素的標識信息進行聚類，生成界面元素集合；

接收用戶對所述界面元素集合的編輯操作，所述編輯操作包括定義所述界面元素集合的屬性。

5.根據權利要求1所述的方法，其特征在于，所述方法還包括：

獲取用戶的歷史操作行為，所述歷史操作行為是所述用戶操作應用程序界面元素的行為；

獲取所述應用程序的版本信息；

根據所述歷史操作行為和所述版本信息，確定所述圖形用戶界面程序的加載路徑；

在檢測到所述用戶操作所述應用程序時，執行所述確定的加載路徑，以獲得所述應用程序的圖形用戶界面信息；

其中，所述加載路徑包括加載所述屏幕路標數據庫中的所述界面元素的標識信息的路徑，以及加載所述界面元素的圖形用戶界面的路徑。

6.一種讓GUI解析程序識別并可對移動設備app不支持Accessibility的界面元素進行操作的裝置，其特征在于，所述裝置包括：

第一獲取模塊，用于獲取用戶對應用程序界面元素的操作；

第二獲取模塊，用于在檢測到所述操作在預設時間內未被響應時，從屏幕路標數據庫中獲取所述用戶操作的所述界面元素的標識信息；其中，所述屏幕路標數據庫包括至少一個界面元素和所述界面元素對應的標識信息；

第一處理模塊，用于控制圖形用戶界面程序加載所述標識信息，以獲得所述界面元素對應的圖形用戶界面信息。

7.根據權利要求6所述的裝置，其特征在于，所述裝置還包括用于建立所述屏幕路標數據庫的數據建立模塊，所述數據建立模塊具體用于：

在檢測到應用程序的圖形用戶界面的界面元素無法被所述圖形用戶界面程序掃描并解析時，在屏幕路標數據庫中記錄所述界面元素所在界面或窗口的ID信息，以及所述界面元素的像素信息，所述ID信息和所述像素信息組成所述標識信息。

8.根據權利要求6或7所述的裝置，其特征在于，所述裝置還包括第一接收模塊，

所述第一接收模塊用于接收用戶對所述屏幕路標數據庫中記錄的界面元素的編輯操作，所述編輯操作包括定義所述界面元素的屬性。

9.根據權利要求8所述的裝置，其特征在于，所述裝置還包括第二處理模塊和第二接收模塊，

所述第二處理模塊用于獲取所述屏幕路標數據庫中屬于相同類別的界面元素，并將所述界面元素和所述界面元素的標識信息進行聚類，生成界面元素集合；

所述第二接收模塊用于接收用戶對所述界面元素集合的編輯操作，所述編輯操作包括定義所述界面元素集合的屬性。

10.一種電子設備，其特征在于，包括：

至少一個處理器；

以及與所述至少一個處理器通信連接的存儲器；

其中，所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行權利要求1至5任一項所述的方法。