[發(fā)明專利]一種自動化非侵入式的安卓應(yīng)用無障礙支持檢測方法

在審

• 申請?zhí)枺?/td>: 201810982283.2
• 申請日: 2018-08-27
• 公開（公告）號: CN109359029A
• 公開（公告）日: 2019-02-19
• 發(fā)明（設(shè)計(jì)）人: 卜佳俊;高藝;董瑋;蔡振宇
• 申請（專利權(quán)）人: 浙江大學(xué)
• 主分類號: G06F11/36
• 分類號: G06F11/36
• 代理公司: 杭州天正專利事務(wù)所有限公司 33201
• 代理人: 王兵;黃美娟

一種自動化非侵入式的安卓應(yīng)用無障礙支持檢測方法，步驟為：使用Maxim運(yùn)行應(yīng)用，在Maxim自動生成各種事件觸發(fā)應(yīng)用狀態(tài)改變的過程中，持續(xù)地轉(zhuǎn)存不同頁面對應(yīng)地截圖和DOM文件。然后通過計(jì)算文件的哈希值來去除相似度過高的文件。根據(jù)已有的DOM文件，讀取文件中的各個節(jié)點(diǎn)及其屬性，判斷頁面中不同元素對信息無障礙的支持情況，記錄存在問題的頁面元素對應(yīng)的路徑。最后，根據(jù)記錄的問題元素路徑和對應(yīng)的頁面截圖，在截圖上高亮元素所在區(qū)域以供用戶參考。

技術(shù)領(lǐng)域

本發(fā)明涉及一種分析并檢測頁面對無障礙標(biāo)準(zhǔn)支持情況的方法。

背景技術(shù)

近十年來，電子設(shè)備已經(jīng)融入人們?nèi)粘Ｉ畹姆椒矫婷妫貏e是智能手機(jī)，已經(jīng)成為了每個人不可或缺的隨身物品。伴隨著智能手機(jī)的全面普及，移動應(yīng)用同樣迎來了爆發(fā)式地增長，在社會生活中的重要性日益提高。但是大量移動端應(yīng)用并沒有考慮到殘障人士的需求，他們在使用移動應(yīng)用的過程中受限于身體的殘疾有著諸多不便。

移動端的自動化檢測技術(shù)是通過自動化地運(yùn)行移動應(yīng)用并檢測應(yīng)用所存在缺陷的一種技術(shù)方法。自動化遍歷的技術(shù)包括隨機(jī)地遍歷和基于模型地遍歷。隨機(jī)遍歷技術(shù)的典型是Google提供的Monkey命令行工具，其可以完全隨機(jī)地在移動設(shè)備上生成點(diǎn)擊、滑動、長按等操作，以驅(qū)動應(yīng)用自動運(yùn)行。基于模型的遍歷技術(shù)普遍更為復(fù)雜并且魯棒性低，缺乏像隨機(jī)遍歷那樣非入侵式和普適性強(qiáng)的特點(diǎn)。

檢測技術(shù)可以分為兩類，第一類是在自動化遍歷應(yīng)用的過程中實(shí)時地檢測應(yīng)用當(dāng)前所處狀態(tài)的問題；第二類是首先對應(yīng)用進(jìn)行自動化地遍歷，在遍歷的過程中獲取頁面的截圖及與之對應(yīng)的表征頁面布局及控件信息的DOM文件，在遍歷之后集中分析保存的文件。第一類檢測技術(shù)看上去更為理想，但是由于在移動自動化檢測領(lǐng)域，業(yè)界還沒有公認(rèn)的完美遍歷策略，在遍歷時實(shí)時地檢測難以取得較好的結(jié)果。而第二類技術(shù)將遍歷和檢測過程分開，可控性更強(qiáng)，也更為實(shí)際。

移動應(yīng)用對無障礙的支持有不同的形式。Google提供的TalkBack服務(wù)是視力障礙人士使用安卓操作系統(tǒng)的良好輔助工具。對于視力不佳以至于難以看清移動設(shè)備上文字圖像的人，或者盲人，使用TalkBack配合不同的手勢，一方面可以給出手勢動作的反饋，一方面可以讀出當(dāng)前選中控件包含的文本信息或者該控件并不直接顯示于屏幕上的隱含描述信息。例如盲人無法從圖片中獲取信息，TalkBack可以讀出反映圖片內(nèi)容的隱含的文字描述，以此為視力殘障人士提供更好的交互體驗(yàn)。但是TalkBack正常地工作還需要應(yīng)用本身的支持，應(yīng)用的開發(fā)者必須在開發(fā)的時候?yàn)閼?yīng)用各個頁面的控件或者布局設(shè)置必要的屬性，本發(fā)明正是利用這一點(diǎn)進(jìn)行無障礙支持檢測。

相關(guān)技術(shù)工具還有Maxim，DOM文檔，非侵入式方法。

Monkey是Google官方提供的一個可以生成隨機(jī)輸入事件對應(yīng)用進(jìn)行測試的工具。而Maxim則是一個基于Monkey，并在其基礎(chǔ)上通過改造底層的框架，直接使用安卓的Accessibility Service完成頁面元素定位，去除了原生Monkey完全隨機(jī)帶來的大量冗余操作，并優(yōu)化了調(diào)度流程，實(shí)現(xiàn)了高速、防跳出、防休眠等多個特性。

DOM即文檔對象模型，移動應(yīng)用的每一個頁面上包含有布局信息和若干不同的控件，這些頁面上的對象組織成了一個樹形的結(jié)構(gòu)，樹形結(jié)構(gòu)的每一個節(jié)點(diǎn)對應(yīng)一個控件或者布局，而節(jié)點(diǎn)的屬性可以反映控件本身的信息，例如text屬性一般表示控件上顯示的文本；content-desc屬性則為自身不帶文本顯示的布局或者控件，例如某圖片或者圖像按鈕，提供隱含的文字說明，該說明可以被諸如Google TalkBack等服務(wù)所訪問。另外，頁面上的各個控件在DOM文件中都可以由XPath，一門專門用來在XML文檔中查找目標(biāo)信息的語言，來指示。