[發(fā)明專利]一種界面元素的處理方法、裝置和電子設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202011607089.X
• 申請(qǐng)日: 2020-12-30
• 公開（公告）號(hào): CN112612469A
• 公開（公告）日: 2021-04-06
• 發(fā)明（設(shè)計(jì)）人: 吳益明;王孟琦
• 申請(qǐng)（專利權(quán)）人: 深圳市聯(lián)諦信息無(wú)障礙有限責(zé)任公司
• 主分類號(hào): G06F8/38
• 分類號(hào): G06F8/38;G06F9/451
• 代理公司: 深圳市六加知識(shí)產(chǎn)權(quán)代理有限公司 44372
• 代理人: 江曉蘇

本發(fā)明涉及應(yīng)用程序的圖形用戶界面技術(shù)領(lǐng)域，特別涉及一種讓GUI解析程序識(shí)別并可對(duì)移動(dòng)設(shè)備app不支持Accessibility的界面元素進(jìn)行操作的方法、裝置和電子設(shè)備，其中，該方法包括：獲取用戶對(duì)應(yīng)用程序界面元素的操作；在檢測(cè)到所述操作在預(yù)設(shè)時(shí)間內(nèi)未被響應(yīng)時(shí)，從屏幕路標(biāo)數(shù)據(jù)庫(kù)中獲取所述用戶操作的所述界面元素的標(biāo)識(shí)信息；其中，所述屏幕路標(biāo)數(shù)據(jù)庫(kù)包括至少一個(gè)界面元素和所述界面元素對(duì)應(yīng)的標(biāo)識(shí)信息；控制圖形用戶界面程序加載所述標(biāo)識(shí)信息，以獲得所述界面元素對(duì)應(yīng)的圖形用戶界面信息。本發(fā)明能夠及時(shí)且準(zhǔn)確地響應(yīng)用戶對(duì)界面元素的操作，特別是在遇到圖形用戶界面程序無(wú)法解析應(yīng)用程序的GUI時(shí)，對(duì)于著急使用應(yīng)用程序GUI的用戶，能夠明顯提升其用戶體驗(yàn)。

技術(shù)領(lǐng)域

本發(fā)明涉及應(yīng)用程序的圖形用戶界面技術(shù)領(lǐng)域，特別涉及一種界面元素的處理方法、裝置和電子設(shè)備。

背景技術(shù)

圖形用戶界面或圖形用戶接口(Graphical User Interface，GUI)是指采用圖形方式顯示的計(jì)算機(jī)操作環(huán)境用戶接口。與早期計(jì)算機(jī)使用的命令行界面相比，圖形界面對(duì)于用戶來(lái)說更為簡(jiǎn)便易用。GUI的廣泛應(yīng)用是當(dāng)今計(jì)算機(jī)發(fā)展的重大成就之一，它極大地方便了非專業(yè)用戶的使用，人們從此不再需要死記硬背大量的命令，取而代之的是可用通過窗口、菜單、按鍵等方式來(lái)方便地進(jìn)行操作。

隨著GUI的發(fā)展，使GUI解析程序的運(yùn)行變得更加復(fù)雜。因此GUI解析程序被迫采用底層技術(shù)，收集操作系統(tǒng)的信息以建立一個(gè)非視覺用戶界面(Nom Visual User Inteface，NVUI)。例如，系統(tǒng)可能會(huì)在屏幕上顯示一個(gè)或多個(gè)按鈕。這些信息在傳播的過程中，將被GUI解析程序獲取并用于構(gòu)建NVUI。現(xiàn)有的NVUI技術(shù)包括Apple Accessibility API、Microsoft Active Accessibility(MSAA)等。目前的NVUI技術(shù)需要應(yīng)用程序開發(fā)者在開發(fā)程序時(shí)遵循各平臺(tái)的標(biāo)準(zhǔn)和要求。

然而，當(dāng)應(yīng)用程序未遵循相關(guān)開發(fā)規(guī)范時(shí)，則失去效用。例如，由于MicrosoftWord并不遵循MSAA，使得GUI解析程序無(wú)法對(duì)Microsoft Word的GUI信息進(jìn)行掃描和解析，導(dǎo)致不能及時(shí)準(zhǔn)確地響應(yīng)用戶對(duì)界面元素的操作。

發(fā)明內(nèi)容

本發(fā)明實(shí)施方式主要解決的技術(shù)問題是在應(yīng)用程序未能遵循預(yù)設(shè)開發(fā)規(guī)范時(shí)，如何及時(shí)和準(zhǔn)確地響應(yīng)用戶對(duì)界面元素的操作。

為解決上述技術(shù)問題，本發(fā)明實(shí)施方式采用的一個(gè)技術(shù)方案是：提供一種讓GUI解析程序識(shí)別并可對(duì)移動(dòng)設(shè)備app不支持Accessibility的界面元素進(jìn)行操作的方法，所述方法包括：

獲取用戶對(duì)應(yīng)用程序界面元素的操作；

在檢測(cè)到所述操作在預(yù)設(shè)時(shí)間內(nèi)未被響應(yīng)時(shí)，從屏幕路標(biāo)數(shù)據(jù)庫(kù)中獲取所述用戶操作的所述界面元素的標(biāo)識(shí)信息；其中，所述屏幕路標(biāo)數(shù)據(jù)庫(kù)包括至少一個(gè)界面元素和所述界面元素對(duì)應(yīng)的標(biāo)識(shí)信息；

控制圖形用戶界面程序加載所述標(biāo)識(shí)信息，以獲得所述界面元素對(duì)應(yīng)的圖形用戶界面信息。

可選地，所述方法還包括建立所述屏幕路標(biāo)數(shù)據(jù)庫(kù)的步驟，所述建立所述屏幕路標(biāo)數(shù)據(jù)庫(kù)包括：

在檢測(cè)到應(yīng)用程序的圖形用戶界面的界面元素?zé)o法被所述圖形用戶界面程序掃描并解析時(shí)，在屏幕路標(biāo)數(shù)據(jù)庫(kù)中記錄所述界面元素所在界面或窗口的ID信息，以及所述界面元素的像素信息，所述ID信息和所述像素信息組成所述標(biāo)識(shí)信息。

可選地，所述方法還包括：

接收用戶對(duì)所述屏幕路標(biāo)數(shù)據(jù)庫(kù)中記錄的界面元素的編輯操作，所述編輯操作包括定義所述界面元素的屬性。

可選地，所述方法還包括：

獲取所述屏幕路標(biāo)數(shù)據(jù)庫(kù)中屬于相同類別的界面元素，并將所述界面元素和所述界面元素的標(biāo)識(shí)信息進(jìn)行聚類，生成界面元素集合；