[發明專利]移動應用程序用戶界面錯誤自動化檢測方法、系統及終端

有效

• 申請號: 201910575260.4
• 申請日: 2019-06-28
• 公開（公告）號: CN110309073B
• 公開（公告）日: 2021-07-27
• 發明（設計）人: 趙文華;戚正偉;夏鳴遠;丁貞鍇;姚朋
• 申請（專利權）人: 上海交通大學
• 主分類號: G06F11/36
• 分類號: G06F11/36
• 代理公司: 上海恒慧知識產權代理事務所(特殊普通合伙) 31317
• 代理人: 張寧展

本發明提供了一種移動應用程序用戶界面錯誤自動化檢測方法，獲取界面截圖中控件之間的層級關系以及每個控件節點信息，形成原始數據集；建立單個控件錯誤分類模型，并利用單個控件錯誤分類模型對文本類控件以及圖像類控件進行錯誤檢測；描述控件對之間的相對位置關系、共生關系以及相互依存關系，生成控件對之間的關系斷言表；利用模型以及斷言表，對新采集的界面截圖進行控件錯誤檢測。同時提供了一種檢測系統及終端。本發明有效定位到APP存在的UI控件錯誤，并根據檢測結果不斷優化檢測模型，提高錯誤檢測效率，極大的降低人工人成本，能廣泛應用于移動應用程序UI測試中，為移動應用程序的開發、測試提供高效可用的自動UI錯誤檢測方法。

技術領域

本發明涉及移動端軟件測試技術領域，具體地，涉及一種移動應用程序用戶界面(UI)錯誤自動化檢測方法、系統及終端。

背景技術

用戶界面作為APP與用戶交互的第一步，對用戶體驗影響至關重要。如果APP 的UI內容顯示出現錯誤，或者UI布局存在歧義，都有可能導致用戶流失。因此，對APP測試中檢查發現UI錯誤，是APP開發過程中的重要部分。現有移動應用程序(APP)測試過程中會產生大量截圖，普遍采用人工審核截圖的方式發現用戶界面排版、錯位、未加載等錯誤。但是這種方式人工成本高、耗時長、效率低并且容易忽略一些細小的錯誤。

為了降低APP測試成本，UI自動化測試技術已經在業界使用。例如，Google 官方提供的Android Monkey，就是一種完全隨機的UI測試方法。自動化測試技術解放了人工輸入的步驟，但是依然需要人工審查APP測試過程中分步驟的截圖來發現界面錯誤。自動化測試時會產生大量的截圖(每分鐘10～40張)，人工審核UI 錯誤效率低并且可能會忽略一些不明星的錯誤，重復的勞動也會造成疲勞，導致準確率進一步下降。APP自動化UI錯誤檢測方面的研究工作較少，研究領域存在采用圖像識別的方法進行檢測或者通過檢測UI設計模型與最終實現效果之間的差異來檢測UI錯誤。然而研究工作目前只適用于一些界面比較簡單的APP或者需要程序員/設計師提供設計模型，并未達到實用的階段。

目前沒有發現同本發明類似技術的說明或報道，也尚未收集到國內外類似的資料。

發明內容

本發明針對現有技術中存在的UI測試技術中人工審查準確率低、測試成本高、測試的高隨機性、測試效率不高以及UI錯誤檢測方法不多等不足，提供了一種移動應用程序圖形界面錯誤自動化檢測方法、系統及終端。該方法、系統及終端首先在APP 測試過程中，自動獲取運行時截圖及對應的控件布局和屬性信息；然后利用機器學習的方法，訓練出分類模型，用模型標注出截圖中出現的UI錯誤。

本發明是通過以下技術方案實現的。

根據本發明的一個方面，提供了一種移動應用程序用戶界面錯誤自動化檢測方法，包括如下步驟：

S1，采集應用程序運行過程中的界面截圖以及相對應的控件布局結構文件，獲取界面截圖中控件之間的層級關系以及每個控件節點信息，形成原始數據集；

S2，從S1中獲得的原始數據集中提取出控件節點信息，建立單個控件錯誤分類模型，并利用單個控件錯誤分類模型對控件進行錯誤檢測；

S3，從S1中獲得的原始數據集中提取控件之間的層級關系以及對應控件節點信息，描述控件對之間層級關系的關系斷言表；

S4，利用S2和S3獲得的單個控件錯誤分類模型以及控件對之間的關系斷言表，對新采集的界面截圖進行控件錯誤檢測。

優選地，所述S1中，以.xml文件的形式存儲界面截圖中控件之間的層級關系以及每個控件節點信息。

優選地，所述控件包括：文本類控件以及圖像類控件。

優選地，所述控件之間的層級關系包括：相對位置關系、共生關系以及相互依存關系。