[發(fā)明專利]一種UI自動(dòng)化測(cè)試圖片識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910449563.1
• 申請(qǐng)日: 2019-05-28
• 公開（公告）號(hào): CN110347585B
• 公開（公告）日: 2023-06-06
• 發(fā)明（設(shè)計(jì)）人: 徐源
• 申請(qǐng)（專利權(quán)）人: 成都美美臣科技有限公司
• 主分類號(hào): G06F11/36
• 分類號(hào): G06F11/36;G06V10/75;G06V10/46;G06V10/56
• 代理公司: 成都瑞創(chuàng)華盛知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 51270
• 代理人: 辜強(qiáng)

本發(fā)明公開了一種UI自動(dòng)化測(cè)試圖片識(shí)別方法，包括以下步驟：首先根據(jù)應(yīng)用控件的設(shè)計(jì)需要按規(guī)定制作對(duì)照表；然后根據(jù)UI規(guī)則對(duì)應(yīng)用控件執(zhí)行抽象和封裝；其次提取頁(yè)面控件，獲取控件坐標(biāo)；最后提取匹配SIFT特征，獲得匹配結(jié)果，執(zhí)行指定操作。本發(fā)明讓代碼庫(kù)變得更加輕量級(jí)；應(yīng)對(duì)UI改變能力增強(qiáng)，大大減少了維護(hù)所需工作量；將移動(dòng)端自動(dòng)化測(cè)試腳本編寫工作和圖片識(shí)別徹底解耦，團(tuán)隊(duì)分工明確。

技術(shù)領(lǐng)域

本發(fā)明屬于軟件圖片識(shí)別技術(shù)領(lǐng)域，特別是涉及一種UI自動(dòng)化測(cè)試圖片識(shí)別方法。

背景技術(shù)

在目前廣泛使用的移動(dòng)端自動(dòng)化測(cè)試技術(shù)中，圖片識(shí)別技術(shù)必不可少。這類技術(shù)的作用在于：

(1)解決終端的多樣性導(dǎo)致的原生控件定位問(wèn)題。

(2)提供內(nèi)置WebView頁(yè)面的操作可行性。

(3)在嚴(yán)格的自動(dòng)化測(cè)試工程中豐富驗(yàn)證手段的多樣性。

現(xiàn)如今市面上使用的商業(yè)工具或者是開源框架中，多數(shù)采用的較為直接的對(duì)比方式(如圖1)，即在屏幕上執(zhí)行部分的圖片截取，保存到代碼庫(kù)中，以方便在不同的執(zhí)行環(huán)境下進(jìn)行圖片對(duì)比；隨后根據(jù)客戶端引入OpenCV的庫(kù)，直接調(diào)用內(nèi)部的比較方法，從而轉(zhuǎn)化為相應(yīng)的屏幕坐標(biāo)進(jìn)行操作，或者執(zhí)行包含驗(yàn)證。這樣的方法有著如下的局限性：

(1)讓代碼庫(kù)冗余。在常規(guī)的代碼管理中，類似于圖片，視頻或者壓縮包這樣的“制造品”不應(yīng)該被追蹤到git或者subversion的代碼庫(kù)中。保持代碼庫(kù)的整潔是一個(gè)好習(xí)慣。但是如果我們要使用這種傳統(tǒng)的去做圖片識(shí)別，那么你的代碼庫(kù)會(huì)變成一個(gè)龐然大物：試想你有一萬(wàn)個(gè)圖片需要比對(duì)。

(2)圖片難以維護(hù)。當(dāng)你的用例堆積如山后，腳本可以通過(guò)不斷的重構(gòu)和二次封裝變得盡量容易維護(hù)，但是這些圖片會(huì)給整體的維護(hù)工作帶來(lái)巨大的困擾，試想一下你每天都在不斷的重新截圖，然后執(zhí)行一個(gè)最小代碼片段來(lái)執(zhí)行測(cè)試。

因此，如何解決上述問(wèn)題成為本領(lǐng)域人員研究的重點(diǎn)。

發(fā)明內(nèi)容

本發(fā)明的目的就是提供一種UI自動(dòng)化測(cè)試圖片識(shí)別方法，能完全解決上述現(xiàn)有技術(shù)的不足之處。

本發(fā)明的目的通過(guò)下述技術(shù)方案來(lái)實(shí)現(xiàn)：

一種UI自動(dòng)化測(cè)試圖片識(shí)別方法，包括以下步驟：

1)根據(jù)應(yīng)用控件的設(shè)計(jì)需要按規(guī)定制作對(duì)照表；

2)根據(jù)UI規(guī)則對(duì)應(yīng)用控件執(zhí)行抽象和封裝；

3)提取頁(yè)面控件，獲取控件坐標(biāo)；

4)提取匹配SIFT特征，獲得匹配結(jié)果，執(zhí)行指定操作。

作為優(yōu)選，步驟1)中對(duì)照表的內(nèi)容包括控件像素、控件字體大小、控件圖片色域(RGB)。

作為優(yōu)選，步驟2)中封裝的內(nèi)容包括控件的圖片色域、色調(diào)、飽和度、亮度。

作為優(yōu)選，實(shí)現(xiàn)提取頁(yè)面控件，獲取控件坐標(biāo)的方法為：

11)對(duì)頁(yè)面控件需要執(zhí)行識(shí)別的圖片顏色進(jìn)行空間轉(zhuǎn)換，獲得圖片色域值；

12)對(duì)步驟11)中獲得的色域值通過(guò)高低邊界值匹配所有疑似目標(biāo)控件，并將獲取到的控件坐標(biāo)以原點(diǎn)坐標(biāo)+寬高的模式存儲(chǔ)。

作為優(yōu)選，實(shí)現(xiàn)取匹配SIFT特征，獲得匹配結(jié)果，執(zhí)行指定操作的方法為：

21)以步驟3)中獲取的控件坐標(biāo)進(jìn)行區(qū)域性的圖片截取，并以這些圖片作為源進(jìn)行遍歷；