[發明專利]一種系統性能穩定性測試方法、系統、裝置及存儲介質

在審

• 申請號: 202211261451.1
• 申請日: 2022-10-14
• 公開（公告）號: CN115687044A
• 公開（公告）日: 2023-02-03
• 發明（設計）人: 李志遠;杜彥魁
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F11/34
• 分類號: G06F11/34
• 代理公司: 濟南舜源專利事務所有限公司 37205
• 代理人: 趙陽

本發明提出的一種系統性能穩定性測試方法、系統、裝置及存儲介質，所述方法包括：當預熱次數為1時，無法獲取預熱性能平均值及方差。此時將預熱性能值與正式測試性能值進行比較，以此判斷系統是否進入穩態。當預熱次數大于等于2時，可以取每次測試的平均值，及標準差，再運算求得變異系數來衡量每次預熱的性能值相對于平均值偏差量的大小。若變異系數大，則說明每次預熱性能值浮動較大，此時系統未進入穩態。反之則說明，預熱時系統已經進入穩態。當確定系統進入穩態后，加載負載，并繼續測試，直至所有測試負載全部已經加載，測試運行結束獲取測試結果。本發明實現了快速判斷測試系統是否進入穩態，提升了SERT測試效率。

技術領域

本發明涉及計算機技術領域，更具體的說是涉及一種系統性能穩定性測試方法、系統、裝置及存儲介質。

背景技術

SPEC SERT是國際權威的用于測量和評估服務器能效的測試工具集。SERT套件是根據全球各個能源效率計劃的領導者及其利益相關者的意見而創建的，目的是為了適應其地區內的能效計劃要求。

SPEC SERT是由Java語言編寫的測試工具，由于Java虛擬機垃圾回收機制、不同JIT編譯、內存分配、以及測試系統進行緩存加載等因素，會使被測系統的性能值在測試負載開始階段并不穩定，很容易產生偏差。為了測試的數據的準確性，SERT工具規定每個工作負載需要系統先達到穩定狀態，再記錄系統的性能值與功耗。

現有技術中，使用SERT工具進行測試前需要在工作負載正式測試前提供預熱階段，來使被測系統達到相對穩定的狀態。SERT工具規定每次預熱的次數從1到10次，可由用戶自定義，默認值為3次。一般來說，更多的預熱次數會使系統更容易進入穩態，但同時過多的預熱次數會大大增加測試時間，最高將增加1/3的測試時間，會嚴重影響測試效率。但是，由于用戶難以確定使系統能夠到穩態的最少預熱次數，用戶需要在每次預熱后等待測試結束查看測試報告時，才能確定測試中系統是否達到穩態，導致測試效率低下。

發明內容

針對以上問題，本發明的目的在于提供一種系統性能穩定性測試方法、系統、裝置及存儲介質，實現了快速判斷測試系統是否進入穩態，提升了SERT測試效率。

本發明為實現上述目的，通過以下技術方案實現：一種系統性能穩定性測試方法，包括如下步驟：

S1：設置測試預熱次數為1；

S2：啟動SERT測試；

S3：在測試運行過程中，實時監控日志文件，獲取預熱性能值，待預熱完成正式測試時獲取正式性能值；

S4：計算預設性能值與正式性能值的偏差量；

S5：判斷偏差量是否小于偏差閾值；若是，則執行步驟S6；若否，則執行步驟S9；

S6：判斷所有負載是否已加載；若是，則執行步驟S7；若否，則執行步驟S8；S7：測試繼續運行直至結束；

S8：增加一個負載并轉到步驟S3；

S9：通過增加預熱次數，在系統預熱后利用預熱性能變異系數判定系統達到穩態，并執行測試。

進一步，步驟S9包括如下步驟：

S91：強制結束測試程序，并將預熱次數設置為2；

S92：啟動SERT測試；

S93：從日志文件中提取預熱性能值；

S94：根據每次預熱的預熱性能值計算出預熱性能變異系數；

S95：判斷預熱性能變異系數是否大于判定閾值；若是，則執行步驟S96；若否，則執行步驟S97；

S96：終止測試，將預熱次數加1后執行S92；