[發明專利]一種自動回歸測試方法、系統、設備及介質

在審

• 申請號: 201811569145.8
• 申請日: 2018-12-21
• 公開（公告）號: CN109818778A
• 公開（公告）日: 2019-05-28
• 發明（設計）人: 梁一
• 申請（專利權）人: 北京奇安信科技有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L12/26
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 周天宇

本發明提供了一種自動回歸測試方法，用于對網絡設備中的新版本模塊進行回歸測試，方法包括：S1，為具有老版本模塊的網絡設備和新版本模塊的網絡設備配置相同運行信息；S2，采集具有老版本模塊的網絡設備的第一運行數據記錄和新版本模塊的網絡設備的第二運行數據記錄；S3，比對第二運行數據記錄與第一運行數據記錄，得到比對結果，若比對結果不在預設閾值內則該新版本模塊沒有通過回歸測試，若比對結果在預設閾值內則該新版本模塊通過回歸測試。另一方面提供了一種自動回歸測試系統、設備及介質。通過比對新版本模塊的運行數據和老版本模塊的運行數據，自動判斷以得到測試結果，整個過程無需人為干預自動化程度高。

技術領域

本發明涉及測試領域，尤其涉及一種自動回歸測試方法、系統、設備及介質。

背景技術

隨著科技技術高速發展，各種網絡設備功能和復雜性不斷增加，在網絡設備進行“質量保證”的活動中，測試人員面臨回歸測試執行的工作量巨大。通常，測試人員會進行自動化測試腳本編寫，進行回歸測試，來解決此類問題。但是，隨著網絡設備的各種配置組合的多樣性，及預期結果判斷的復雜性，都給自動化測試腳本增加了解答的寫作難度。對每個自動化測試腳本的預期輸出，需要逐一進行人工確認，需要通過測試建模，將預期結果和單獨的每條操作步驟逐條綁定，效率低，無論是逐一確認，還是和操作步驟在測試建模時一次性綁定，都需人工干預。適應度低，操作組合復雜時，無法通過單獨某條步驟來判斷最終整體輸出的預期結果，另外，真實性低，真實單純針對現實業務的模擬和結果猜測。“預期結果正確與否的判斷”，更需要仔細逐條確認，這是自動化測試腳本可信度的關鍵。提升“預期結果正確與否的判斷”的效率，能夠極大提升自動化測試腳本的寫作和測試效率。

發明內容

(一)要解決的技術問題

本發明提供了一種自動回歸測試方法、系統、設備及介質，至少解決以上問題。

(二)技術方案

一方面，本發明提供了一種自動回歸測試方法，用于對網絡設備中的新版本模塊進行回歸測試，方法包括：S1，為具有老版本模塊的網絡設備和新版本模塊的網絡設備配置相同運行信息；S2，采集具有老版本模塊的網絡設備的第一運行數據記錄和新版本模塊的網絡設備的第二運行數據記錄；S3，比對第二運行數據記錄與第一運行數據記錄，得到比對結果，若比對結果大于預設閾值則該新版本模塊沒有通過回歸測試，若比對結果小于預設閾值則該新版本模塊通過回歸測試。

可選地，第一運行數據記錄和第二運行數據記錄均包括：日志信息、系統狀態信息以及數據包信息，對日志信息、系統狀態信息以及數據包信息設置不同的閾值范圍，分別對應第一閾值、第二閾值及第三閾值。

可選地，步驟S3具體包括：比對第二運行數據記錄與第一運行數據記錄，得到比對結果；若第二運行數據記錄中的日志信息、系統狀態信息以及數據包信息與第一運行數據記錄中日志信息、系統狀態信息以及數據包信息比對結果均在的第一閾值、第二閾值及第三閾值范圍內，則該新版本模塊通過回歸測試，否則不通過。

可選地，在比對第二運行數據記錄中的日志信息與第一運行數據記錄中的日志信息之前去除第二運行數據記錄中的日志信息與第一運行數據記錄中的日志信息中的時間信息。

可選地，可通過基于行為的MBT、隨機模型或蟻群算法遍歷實現步驟S1中的為具有老版本模塊的網絡設備和新版本模塊的網絡設備配置相同運行信息。

可選地，步驟S2中相同的運行信息包括：位于同一網絡，同時開始流量傳輸，傳輸流量相同、同時關閉流量傳輸。

可選地，比對第二運行數據記錄與第一運行數據記錄中的數據包信息之前包括將所述第二運行數據記錄中的數據包信息和第一運行數據記錄中的數據包信息轉換為pcap格式，若第二運行數據記錄中的數據包與第一運行數據記錄中的數據包中的相同數量大于第三閾值該數據包信息通過測試。