[發(fā)明專利]基于深度置信網(wǎng)絡(luò)的用戶界面測試結(jié)果分類方法及裝置

在審

• 申請?zhí)枺?/td>: 202110486456.3
• 申請日: 2021-04-30
• 公開（公告）號: CN113010442A
• 公開（公告）日: 2021-06-22
• 發(fā)明（設(shè)計）人: 呂美潔;郭繼泱;高小明;劉泱
• 申請（專利權(quán)）人: 中國工商銀行股份有限公司
• 主分類號: G06F11/36
• 分類號: G06F11/36;G06K9/62;G06F9/451;G06N3/04;G06N3/08
• 代理公司: 北京三友知識產(chǎn)權(quán)代理有限公司 11127
• 代理人: 任默聞;王濤

本發(fā)明提供一種基于深度置信網(wǎng)絡(luò)的用戶界面測試結(jié)果分類方法及裝置，方法包括：采集用戶界面測試用例執(zhí)行結(jié)果圖片并對圖片所屬的類型進(jìn)行標(biāo)注，組成訓(xùn)練集；對訓(xùn)練集中訓(xùn)練圖片進(jìn)行預(yù)處理，得到訓(xùn)練數(shù)據(jù)；根據(jù)深度置信網(wǎng)絡(luò)結(jié)構(gòu)，將訓(xùn)練數(shù)據(jù)輸入到深度置信網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到深度置信網(wǎng)絡(luò)分類模型；采集待分類的用戶界面測試用例執(zhí)行結(jié)果圖片作為目標(biāo)圖片，并進(jìn)行預(yù)處理；將預(yù)處理后的目標(biāo)圖片輸入到深度置信網(wǎng)絡(luò)分類模型中，得到目標(biāo)圖片的分類類型。本發(fā)明能夠有效提高用戶界面測試結(jié)果分類的全面性和準(zhǔn)確性，同時減少對測試人員的依賴和工作量，提升用戶界面測試的效率。

技術(shù)領(lǐng)域

本發(fā)明涉及神經(jīng)網(wǎng)絡(luò)技術(shù)領(lǐng)域，具體涉及一種基于深度置信網(wǎng)絡(luò)的用戶界面測試結(jié)果分類方法及裝置。

背景技術(shù)

用戶界面(User Interface,用戶界面)是軟件系統(tǒng)展示給用戶的內(nèi)容，是用戶與軟件系統(tǒng)交互的重要媒介，隨著軟件行業(yè)的高速發(fā)展和用戶數(shù)量的激增，用戶對用戶界面的要求也不斷提升，因而，作為軟件測試中的重要一環(huán)，用戶界面測試變得尤為關(guān)鍵。目前，對用戶界面測試用例執(zhí)行結(jié)果的判別主要有兩種方式：(1)人工判別：依據(jù)測試人員對軟件系統(tǒng)的熟悉及以往的經(jīng)驗(yàn)，判別用戶界面的展示是否正確，包括：頁面是否存在異常空白、是否存在元素缺失、界面元素排列是否錯位、界面是否存在文字亂碼、界面元素觸發(fā)后的反應(yīng)是否符合預(yù)期等。(2)自動化腳本關(guān)鍵元素檢測：目前主流的用戶界面自動化測試框架，如selenium框架，主要是通過定位并抓取用戶界面上的特定元素，并判別當(dāng)前元素狀態(tài)是否符合預(yù)期來進(jìn)行測試用例執(zhí)行結(jié)果的判定。

以上兩種判別方式都存在著一些缺點(diǎn)：(1)人工判別：投入人力較多，耗時較長，同時人工判別也容易出現(xiàn)誤判的情況，對測試人員自身的素質(zhì)有強(qiáng)依賴，需要測試人員對軟件系統(tǒng)十分了解。(2)自動化腳本關(guān)鍵元素檢測：該方法只能對部分頁面元素進(jìn)行校驗(yàn)，存在檢測遺漏的可能，若進(jìn)行全量頁面元素校驗(yàn)則會大大增加自動化測試耗時，降低自動化測試效率，在實(shí)踐中可行性非常低。同時該方法只能檢測目標(biāo)元素是否存在，狀態(tài)是否正確，對于元素的排列布局、展示風(fēng)格是否符合預(yù)期無法判定。

因此，急需一種更為自動化和智能化的用戶界面測試結(jié)果分類方法。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)中的問題，本發(fā)明提供一種基于深度置信網(wǎng)絡(luò)的用戶界面測試結(jié)果分類方法及裝置，具體包括以下技術(shù)方案：

第一方面，本發(fā)明提供一種基于深度置信網(wǎng)絡(luò)的用戶界面測試結(jié)果分類方法，包括：

采集用戶界面測試用例執(zhí)行結(jié)果圖片并對圖片所屬的類型進(jìn)行標(biāo)注，組成訓(xùn)練集；

對訓(xùn)練集中訓(xùn)練圖片進(jìn)行預(yù)處理，得到訓(xùn)練數(shù)據(jù)；

根據(jù)深度置信網(wǎng)絡(luò)結(jié)構(gòu)，將訓(xùn)練數(shù)據(jù)輸入到深度置信網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到深度置信網(wǎng)絡(luò)分類模型；

采集待分類的用戶界面測試用例執(zhí)行結(jié)果圖片作為目標(biāo)圖片，并進(jìn)行預(yù)處理；

將預(yù)處理后的目標(biāo)圖片輸入到深度置信網(wǎng)絡(luò)分類模型中，得到目標(biāo)圖片的分類類型。

其中，所述對圖片所屬的類型進(jìn)行標(biāo)注包括：

若用例執(zhí)行成功，則對應(yīng)的訓(xùn)練圖片標(biāo)注為成功；若用例執(zhí)行失敗，則將對應(yīng)的訓(xùn)練圖片標(biāo)注為所屬的錯誤類別；

其中，所述錯誤類別包含：頁面元素缺失、頁面大面積異?？瞻?、頁面亂碼、元素順序錯位和元素狀態(tài)錯誤中至少一種。

其中，所述對訓(xùn)練集中訓(xùn)練圖片進(jìn)行預(yù)處理，包括：

對訓(xùn)練集中訓(xùn)練圖片進(jìn)行灰度化處理和歸一化處理。

其中，所述根據(jù)深度置信網(wǎng)絡(luò)結(jié)構(gòu)包括：

確定深度置信網(wǎng)絡(luò)結(jié)構(gòu)包含至少四層受限玻爾茲曼機(jī)RBM和一層BP神經(jīng)網(wǎng)絡(luò)分類器組成；