[發(fā)明專利]基于頁面圖像識別的測試方法、系統(tǒng)、設(shè)備、介質(zhì)、產(chǎn)品

在審

• 申請?zhí)枺?/td>: 202210154578.7
• 申請日: 2022-02-18
• 公開（公告）號: CN114528216A
• 公開（公告）日: 2022-05-24
• 發(fā)明（設(shè)計(jì)）人: 翁叢
• 申請（專利權(quán)）人: 中國工商銀行股份有限公司
• 主分類號: G06F11/36
• 分類號: G06F11/36;G06F16/957
• 代理公司: 中科專利商標(biāo)代理有限責(zé)任公司 11021
• 代理人: 周天宇

本發(fā)明提供了一種基于頁面圖像識別的測試方法，可用于金融系統(tǒng)領(lǐng)域，基于頁面圖像識別的測試方法包括如下步驟：獲取頁面控件的類型、以及頁面控件的特征屬性；根據(jù)案例中指定的頁面控件的類型和頁面控件的特征屬性，利用控件識別功能在頁面中找到對應(yīng)的控件；再依據(jù)案例中指定的動(dòng)作執(zhí)行對應(yīng)的空間操作，從而實(shí)現(xiàn)案例的執(zhí)行。本發(fā)明提供的技術(shù)方案能夠在識別頁面控件時(shí)，根據(jù)實(shí)際展示內(nèi)容進(jìn)行識別，并將識別出的控件進(jìn)行分類，完全依靠視覺，不用分析代碼。當(dāng)頁面控件樣式發(fā)生變化時(shí)，只要控件類型不發(fā)生變化，則無需單獨(dú)維護(hù)案例。本發(fā)明還提供了一種基于頁面圖像識別的測試系統(tǒng)、設(shè)備、存儲(chǔ)介質(zhì)、程序產(chǎn)品。

技術(shù)領(lǐng)域

本發(fā)明涉及自動(dòng)測試技術(shù)領(lǐng)域，特別涉及一種基于頁面圖像識別的測試方法、系統(tǒng)、設(shè)備、介質(zhì)、產(chǎn)品。

背景技術(shù)

文檔對象模型(Document Object Model，簡稱DOM)，是W3C組織推薦的處理可擴(kuò)展置標(biāo)語言的標(biāo)準(zhǔn)編程接口。它是一種與平臺(tái)和語言無關(guān)的應(yīng)用程序接口(API)，它可以動(dòng)態(tài)地訪問程序和腳本，更新其內(nèi)容、結(jié)構(gòu)和www文檔的風(fēng)格(目前，HTML和XML文檔是通過說明部分定義的)。文檔可以進(jìn)一步被處理，處理的結(jié)果可以加入到當(dāng)前的頁面。DOM是一種基于樹的API文檔，它要求在處理過程中整個(gè)文檔都表示在存儲(chǔ)器中。

XPath即為XML路徑語言，它是一種用來確定XML(標(biāo)準(zhǔn)通用標(biāo)記語言的子集)文檔中某部分位置的語言。XPath基于XML的樹狀結(jié)構(gòu)，有不同類型的節(jié)點(diǎn)，包括元素節(jié)點(diǎn)，屬性節(jié)點(diǎn)和文本節(jié)點(diǎn)，提供在數(shù)據(jù)結(jié)構(gòu)樹中找尋節(jié)點(diǎn)的能力。起初XPath的提出的初衷是將其作為一個(gè)通用的、介于XPointer與XSLT間的語法模型。但是XPath很快的被開發(fā)者采用來當(dāng)作小型查詢語言。

CNN即卷積神經(jīng)網(wǎng)絡(luò)，是一種前饋神經(jīng)網(wǎng)絡(luò)，人工神經(jīng)元可以響應(yīng)周圍單元，可以進(jìn)行大型圖像處理。卷積神經(jīng)網(wǎng)絡(luò)包括卷積層和池化層。卷積神經(jīng)網(wǎng)絡(luò)包括一維卷積神經(jīng)網(wǎng)絡(luò)、二維卷積神經(jīng)網(wǎng)絡(luò)以及三維卷積神經(jīng)網(wǎng)絡(luò)。一維卷積神經(jīng)網(wǎng)絡(luò)常應(yīng)用于序列類的數(shù)據(jù)處理；二維卷積神經(jīng)網(wǎng)絡(luò)常應(yīng)用于圖像類文本的識別；三維卷積神經(jīng)網(wǎng)絡(luò)主要應(yīng)用于醫(yī)學(xué)圖像以及視頻類數(shù)據(jù)識別。在機(jī)器學(xué)習(xí)中，卷積神經(jīng)網(wǎng)絡(luò)是一種深度前饋人工神經(jīng)網(wǎng)絡(luò)，已成功地應(yīng)用于圖像識別。

現(xiàn)有技術(shù)方案一：基于頁面DOM結(jié)構(gòu)識別控件，如selenium，是通過頁面DOM結(jié)構(gòu)的XPath路徑或CSS路徑來識別控件并進(jìn)行操作。其缺點(diǎn)是，基于DOM結(jié)構(gòu)識別控件的方案編寫案例時(shí)需要獲取準(zhǔn)確的控件在頁面文件中的路徑信息，編寫成本較高。且如果控件層次較多，會(huì)出現(xiàn)識別慢或無法識別的情況。如果頁面結(jié)構(gòu)發(fā)生變化，需要對案例進(jìn)行調(diào)整，維護(hù)成本較高。同時(shí)該種方案依賴瀏覽器，不同瀏覽器需要搭配不同的驅(qū)動(dòng)程序，同樣的頁面針對不同瀏覽器可能存在文檔結(jié)構(gòu)和內(nèi)容不同的情況，案例維護(hù)成本較高。

現(xiàn)有技術(shù)方案二：基于圖像識別技術(shù)方案如Sikuli，是一種圖形腳本語言，即在代碼中用圖片描述對象，通過與頁面圖像進(jìn)行匹配，匹配到空間后執(zhí)行操作。其缺點(diǎn)是，基于圖像識別技術(shù)方案編寫案例時(shí)需要截圖，操作復(fù)雜。而且一旦頁面風(fēng)格發(fā)生變化，則需要對案例進(jìn)行調(diào)整，更新圖片，維護(hù)成本較高。

發(fā)明內(nèi)容

本發(fā)明的主要目的是提供一種基于頁面圖像識別的測試方法、系統(tǒng)、設(shè)備、存儲(chǔ)介質(zhì)、程序產(chǎn)品，旨在改善現(xiàn)有技術(shù)中，在案例進(jìn)行調(diào)整時(shí)，維護(hù)成本較高的技術(shù)問題。

為實(shí)現(xiàn)上述目的，本發(fā)明提供一種基于頁面圖像識別的測試方法，可應(yīng)用于金融領(lǐng)域，所述基于頁面圖像識別的測試方法包括如下步驟：

獲取頁面控件的類型、以及頁面控件的特征屬性；

根據(jù)案例中指定的所述頁面控件的類型和所述頁面控件的特征屬性，利用控件識別功能在頁面中找到對應(yīng)的控件；

再依據(jù)案例中指定的動(dòng)作執(zhí)行對應(yīng)的空間操作，從而實(shí)現(xiàn)案例的執(zhí)行。

可選地，所述頁面控件的類型包括按鈕、輸入框、復(fù)選框、單選按鈕、鏈接。