[發明專利]一種基于圖像識別的WebUI自動化測試方法

在審

• 申請號: 202011383670.8
• 申請日: 2020-12-01
• 公開（公告）號: CN112380134A
• 公開（公告）日: 2021-02-19
• 發明（設計）人: 曹劼;王全福;尹春光;吳曉兵
• 申請（專利權）人: 天翼電子商務有限公司
• 主分類號: G06F11/36
• 分類號: G06F11/36;G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種基于圖像識別的WebUI自動化測試方法，主要包含圖像采集模塊，圖像匹配模塊，報告生成模塊，采用sikuli+selenium技術框架實現圖像采集模塊，應用opencv框架輔助實現圖像識別模塊，最后解析圖像匹配的結果，獲取差異元素的位置，最終生成測試報告。當前對于WebUI的自動化測試，由于現有框架的局限性導致不能覆蓋瀏覽器兼容性測試及自適應功能場景，本方案提出一種基于圖像識別的WebUI自動化測試方案，能夠在保持測試高效簡易的同時，解決上述問題，極大的提高WebUI自動化測試的覆蓋率，從而提升測試效率。

技術領域

本發明涉及支付，金融領域，特別涉及一種基于圖像識別的WebUI自動化測試方法。

背景技術

自動化測試(automation testing)是把以人為驅動的測試行為轉化為機器執行的一種過程。在持續交付和持續集成的開發鏈路中，引入自動化測試來完成一些復雜或者重復性的測試工作，能夠大量的節省人力、時間或硬件資源，極大提高測試效率。

圖像識別技術，是指利用計算機對圖像進行處理、分析和理解，以識別各種不同模式的目標和對象的技術，是應用深度學習算法的一種實踐應用。

目前針對復雜易變的WebUI的界面的自動化測試，業界傳統的方案是應用pytest+selenium框架完成實現。由于此種方案的實現嚴格受限selenium組件本身的局限性，導致某些功能無法完全通過自動化方式覆蓋，同時針對由于瀏覽器類型、版本不同導致WebUI界面產生的形變，亂序等場景的兼容性測試，當前的方案無法支持。因此業界目前缺缺少一種成熟穩定的WebUI自動化測試方案能夠解決上述問題。本發明旨在WebUI自動化測試場景中，引入圖像識別(picture recognization)技術，解決上述問題。

發明內容

本發明要解決的技術問題是克服現有技術的缺陷，提供一種基于圖像識別的WebUI自動化測試方法，當前對于WebUI的自動化測試，由于現有框架的局限性導致不能覆蓋瀏覽器兼容性測試及自適應功能場景，本方案提出一種基于圖像識別的WebUI自動化測試方案，能夠在保持測試高效簡易的同時，解決上述問題，極大的提高WebUI自動化測試的覆蓋率，從而提升測試效率。

為了解決上述技術問題，本發明提供了如下的技術方案：

本發明一種基于圖像識別的WebUI自動化測試方法，主要包含圖像采集模塊，圖像匹配模塊，報告生成模塊，采用sikuli+selenium技術框架實現圖像采集模塊，應用opencv框架輔助實現圖像識別模塊，最后解析圖像匹配的結果，獲取差異元素的位置，最終生成測試報告，具體包括以下步驟：

S1.首先獲取標準模板圖像base.jpg，此模板將作為檢測界面異常的標準，而后進入圖像截取模塊，系統根據不同的配置參數，使用不同的瀏覽器，用戶可以腳本語言調用此模塊提供的api，從而控制界面的跳轉，將需要測試的界面截取并且保存；

S2.隨后進入圖像匹配模塊，由于瀏覽器兼容性測試，要求展示的界面與標準模板完全一致，因此可以設定匹配閾值為1，表示圖像嚴格匹配，模塊根據獲取的圖片，進一步清洗、加工特征，相似度計算，最終輸出匹配的結果及問題元素的位置信息；

S3.報告生成模塊解析匹配結果，生成測試結果報告，整個流程可以使用可以基于圖形化編程框架sikuli構建，因為其簡便性，可用戶直接使用截圖來進行UI自動化測試開發。

與現有技術相比，本發明的有益效果如下：

當前對于WebUI的自動化測試，由于現有框架的局限性導致不能覆蓋瀏覽器兼容性測試及自適應功能場景，本方案提出一種基于圖像識別的WebUI自動化測試方案，能夠在保持測試高效簡易的同時，解決上述問題，極大的提高WebUI自動化測試的覆蓋率，從而提升測試效率。

附圖說明