[發(fā)明專利]一種軟件穩(wěn)定性測試的方法、電子設備以及存儲介質

在審

• 申請?zhí)枺?/td>: 202110387795.6
• 申請日: 2021-04-09
• 公開（公告）號: CN115203011A
• 公開（公告）日: 2022-10-18
• 發(fā)明（設計）人: 不公告發(fā)明人
• 申請（專利權）人: 寒武紀行歌（南京）科技有限公司
• 主分類號: G06F11/36
• 分類號: G06F11/36
• 代理公司: 北京維昊知識產權代理事務所(普通合伙) 11804
• 代理人: 李波

本發(fā)明涉及一種軟件穩(wěn)定性測試的方法、電子設備以及存儲介質，其中本發(fā)明的處理裝置包括在集成電路裝置中，該集成電路裝置包括通用互聯(lián)接口和計算裝置。計算裝置與處理裝置進行交互，共同完成用戶指定的計算操作。集成電路裝置還可以包括存儲裝置，存儲裝置分別與計算裝置和處理裝置連接，用于計算裝置和處理裝置的數據存儲。

技術領域

本發(fā)明一般地涉及測試領域。更具體地，本發(fā)明涉及一種軟件穩(wěn)定性測試的方法、電子設備以及存儲介質。

背景技術

人工智能軟件在開發(fā)過程中，一般會采用一套方案和流程來保證所發(fā)布的軟件的質量。軟件的穩(wěn)定性是衡量軟件質量的一項重要指標。

現有通用的測試方案多種多樣，常用的測試方案主要包括以下幾種測試方案。

極限測試：利用多臺相同配置的設備，分別監(jiān)控本地服務器與云服務器的CPU、負荷時間、帶寬、響應時間、IO吞吐等等。這種穩(wěn)定性測試方法一般適用于對服務器的測試，具體來說適用于本地服務器與云服務器互聯(lián)時的穩(wěn)定性測試，比如當用手機與云端服務器連接時，測試兩者的數據傳輸是否穩(wěn)定、響應時間是否有延時等等。極限測試主要應用在網絡通信、網絡帶寬比較多時，對服務器間互聯(lián)的穩(wěn)定性進行測試。

壓力測試：利用jenkins工具(Jenkins是一個開源的、提供友好操作界面的持續(xù)集成工具，主要用于持續(xù)、自動的構建/測試軟件項目、監(jiān)控外部任務的運行)或腳本重復操作，通過反復，長期的操作，查看系統(tǒng)資源是否異常。

benchmark測試：設定一個標準版本，該標準版本可以是業(yè)界已經成熟的軟件版本，或者為自身的前一版本。該測試方案旨在與現有的性能指標做比較，benchmark測試只能測試與標準版本性能的差別，但是不能測試軟件本身的穩(wěn)定性。比如在對圖片進行推理時，標準版本每秒可以推理出一百張圖片，待測軟件每秒可以推理兩百張圖片，只能說明待測軟件的性能提高，不能判斷待測軟件的穩(wěn)定性是否提高。

綜上，可以發(fā)現傳統(tǒng)的幾種軟件穩(wěn)定性測試方法存在明顯的幾個缺點：第一，只能適用于指定的場景，測試中只關注響應時間、帶寬、吞吐系統(tǒng)指標，沒有考慮軟件的內存等問題，不能作為普遍適用的方法。第二，沒有對結果進行量化，同時，測試只關注端到端的性能和結果，無法直觀說明軟件自身穩(wěn)定狀況。由此可見，無論是哪種現行方案都不理想。

為了解決上述問題，本發(fā)明提出了一種軟件穩(wěn)定性測試的方案。

發(fā)明內容

為了至少部分地解決背景技術中提到的技術問題，本發(fā)明的方案提供了一種軟件穩(wěn)定性測試的方法、可讀存儲介質及電子設備。

在一個方面中，本發(fā)明揭露了一種軟件穩(wěn)定性測試的方法，該方法包括：接收測試策略；基于所述測試策略運行多個測試用例，以得到多個測試結果，每個測試用例生成一個參數指標，所述多個測試結果包括多個實際參數指標，其中，所述參數指標包括運行時間、占用內存、帶寬、I/O中的至少一種；設定所述多個實際參數指標的波動范圍；計算所述多個實際參數指標落在所述波動范圍內的個數；判斷所述個數是否大于或等于閾值；如是，通過穩(wěn)定性測試。

在另一個方面，本發(fā)明揭露一種電子設備，包括：處理器；用于存儲可執(zhí)行指令的存儲器；其中，所述處理器被配置為調用所述存儲器存儲的指令，以執(zhí)行上述的方法。

在另一個方面，本發(fā)明揭露一種計算機可讀存儲介質，其上存儲有測試軟件穩(wěn)定性的計算機程序指令，所述計算機程序指令被服務器執(zhí)行時實現上述的方法。

本發(fā)明通過創(chuàng)建性能指標來衡量軟件的穩(wěn)定性，通過判斷測試用例的運行結果是否滿足預設的參數指標來判斷軟件的穩(wěn)定性。具體來說，本發(fā)明通過計算多個測試用例的多個實際參數指標落在合理的波動范圍內的個數，對結果進行量化，直觀說明軟件自身穩(wěn)定狀況。同時，該參數指標包括運行時間、占用內存、帶寬、I/O中的至少一種，在測試過程中，不僅關注了響應時間、帶寬、吞吐系統(tǒng)指標，也兼顧了軟件的內存等問題，能更好更全面的對軟件的穩(wěn)定性進行測試。