[發(fā)明專利]移動應(yīng)用程序用戶界面錯(cuò)誤自動化檢測方法、系統(tǒng)及終端

有效

• 申請?zhí)枺?/td>: 201910575260.4
• 申請日: 2019-06-28
• 公開（公告）號: CN110309073B
• 公開（公告）日: 2021-07-27
• 發(fā)明（設(shè)計(jì)）人: 趙文華;戚正偉;夏鳴遠(yuǎn);丁貞鍇;姚朋
• 申請（專利權(quán)）人: 上海交通大學(xué)
• 主分類號: G06F11/36
• 分類號: G06F11/36
• 代理公司: 上海恒慧知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 31317
• 代理人: 張寧展

1.一種移動應(yīng)用程序用戶界面錯(cuò)誤自動化檢測方法，其特征在于，包括如下步驟：

S1，采集應(yīng)用程序運(yùn)行過程中的界面截圖以及相對應(yīng)的控件布局結(jié)構(gòu)文件，獲取界面截圖中控件之間的層級關(guān)系以及每個(gè)控件節(jié)點(diǎn)信息，形成原始數(shù)據(jù)集；

S2，從S1中獲得的原始數(shù)據(jù)集中提取出控件節(jié)點(diǎn)信息，建立單個(gè)控件錯(cuò)誤分類模型，并利用單個(gè)控件錯(cuò)誤分類模型對控件進(jìn)行錯(cuò)誤檢測；

所述S2針對文本類控件以及圖像類控件，包括如下子步驟：

-特征提取：對于文本類控件，提取布局結(jié)構(gòu)文件中文本相關(guān)的控件節(jié)點(diǎn)，并獲取控件節(jié)點(diǎn)的所有屬性信息作為文本特征；對于圖像類控件，將圖像中的七種主要色彩作為圖像類控件錯(cuò)誤分類的主要特征，選取主要色彩相對應(yīng)的R、G、B屬性作為主要的圖像特征；

-特征表示：對提取到的文本特征及主要的圖像特征進(jìn)行歸一化處理；

-模型訓(xùn)練：采用決策樹分類算法對文本特征及主要的圖像特征進(jìn)行分類，生成單個(gè)控件錯(cuò)誤分類模型；通過觀察決策樹，得到特征在分類過程中的權(quán)重，該權(quán)重用于對新提取的特征在單個(gè)控件錯(cuò)誤分類模型中收獲的權(quán)重進(jìn)行驗(yàn)證以及對參數(shù)進(jìn)行優(yōu)化；

-模型驗(yàn)證及參數(shù)調(diào)化：為反復(fù)迭代的過程；對生成的單個(gè)控件錯(cuò)誤分類模型進(jìn)行訓(xùn)練、驗(yàn)證及參數(shù)優(yōu)化；

-模型持久化：將訓(xùn)練所得的單個(gè)控件錯(cuò)誤分類模型進(jìn)行持久化，并存儲；

-錯(cuò)誤檢測：對應(yīng)用程序新生成的界面截圖進(jìn)行單個(gè)控件錯(cuò)誤檢測，通過控件布局結(jié)構(gòu)文件對界面截圖進(jìn)行解析，生成相應(yīng)的文本控件數(shù)據(jù)；運(yùn)用訓(xùn)練好的錯(cuò)誤分類模型對文本控件數(shù)據(jù)進(jìn)行分類，并生成控件分類結(jié)果，將得到的分類結(jié)果與實(shí)際結(jié)果進(jìn)行對比，獲得檢測結(jié)果；

S3，從S1中獲得的原始數(shù)據(jù)集中提取控件之間的層級關(guān)系以及對應(yīng)控件節(jié)點(diǎn)信息，描述控件對之間層級關(guān)系的關(guān)系斷言表；

S4，利用S2和S3獲得的單個(gè)控件錯(cuò)誤分類模型以及控件對之間的關(guān)系斷言表，對新采集的界面截圖進(jìn)行控件錯(cuò)誤檢測。

2.根據(jù)權(quán)利要求1所述的移動應(yīng)用程序用戶界面錯(cuò)誤自動化檢測方法，其特征在于，所述S1中，以.xml文件的形式存儲界面截圖中控件之間的層級關(guān)系以及每個(gè)控件節(jié)點(diǎn)信息；其中：

所述控件包括：文本類控件以及圖像類控件；

所述控件之間的層級關(guān)系包括：相對位置關(guān)系、共生關(guān)系以及相互依存關(guān)系；

所述控件節(jié)點(diǎn)信息包括：package屬性值，表示控件所在主程序包名；class屬性值，表示控件的類型；bounds屬性值，表示控件在截圖上的具體位置；resource-id，表示控件的標(biāo)識身份；text屬性，表示控件在界面上顯示的文本信息。

3.根據(jù)權(quán)利要求1所述的移動應(yīng)用程序用戶界面錯(cuò)誤自動化檢測方法，其特征在于，所述S2，還包括如下任意一項(xiàng)或任意多項(xiàng)：

-所述特征提取中，文本特征至少包括：text、content-desc、bounds及resource-id屬性信息；其中，對text屬性信息進(jìn)一步提取，獲取null出現(xiàn)的次數(shù)、未解析的Unicode碼、未轉(zhuǎn)義的html字符數(shù)量以及因?yàn)榫幋a問題導(dǎo)致的亂碼數(shù)量；

-所述特征提取中，選取七種主要色彩相對應(yīng)的R、G、B屬性作為圖像的主要特征；

-所述特征表示中，歸一化處理是指，對所有的特征均采用0到1的值進(jìn)行表示，最終得到一個(gè)所有特征值均在0到1區(qū)間的二維矩陣；

-所述模型驗(yàn)證及參數(shù)調(diào)化中，將原始數(shù)據(jù)集以4：1的比例劃分為訓(xùn)練集和測試集對模型進(jìn)行訓(xùn)練及測試；在進(jìn)行模型驗(yàn)證時(shí)，采用十折交叉驗(yàn)證方法在測試集對產(chǎn)生的模型進(jìn)行驗(yàn)證；在參數(shù)調(diào)化時(shí)，設(shè)置指定錯(cuò)誤類別的權(quán)重，使得樣本較少的錯(cuò)誤類別獲得更高的權(quán)重；調(diào)整不同應(yīng)用程序的最大葉子節(jié)點(diǎn)數(shù)量；利用決策樹的最大深度最大特征數(shù)對決策樹進(jìn)行剪枝，并進(jìn)行反復(fù)迭代優(yōu)化。

4.根據(jù)權(quán)利要求1所述的移動應(yīng)用程序用戶界面錯(cuò)誤自動化檢測方法，其特征在于，所述S3中，對原始數(shù)據(jù)集中的正確部分采用數(shù)理統(tǒng)計(jì)方法，提取控件對的所有屬性信息，描述控件對之間的相對位置關(guān)系、共生關(guān)系以及相互依存關(guān)系。