[發明專利]一種對存儲訓練數據的云存儲系統的仿真測試系統及方法

有效

• 申請號: 202110089178.8
• 申請日: 2021-01-22
• 公開（公告）號: CN112799924B
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 余虹建;李錦豐;朱軍;李秋慶
• 申請（專利權）人: 北京聚云科技有限公司
• 主分類號: G06F11/34
• 分類號: G06F11/34
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 項京;高鶯然

本發明實施例提供了一種對存儲訓練數據的云存儲系統的仿真測試系統及方法，上述系統包括：訓練任務生成器，用于獲得待訓練模型和訓練參數，生成訓練任務；訓練任務執行模擬器，用于模擬出模型訓練服務器，并使得模擬出的模型訓練服務器，從云存儲系統模擬器中，獲得待訓練模型所需要的待訓練數據進行加載，執行訓練任務；并記錄加載待訓練數據的時長及執行完成訓練任務所需要的時長，作為測試結果數據；云存儲系統模擬器，用于模擬出云存儲系統，以及搭載云存儲系統的至少一臺虛擬服務器；所有待訓練數據存儲在所述磁盤資源中，全部或部分待訓練數據存儲在內存資源中。上述系統實現了對存儲訓練數據的云存儲系統的有效測試。

技術領域

本發明涉及仿真測試技術領域，特別是涉及一種對存儲訓練數據的云存儲系統的仿真測試系統及方法。

背景技術

隨著深度學習驅動的AI服務越來越多，對深度學習模型進行訓練的工作越來越多。對深度學習模型進行訓練往往需要大量的訓練數據，而且模型訓練過程中，訓練數據會被頻繁的讀/寫，這就對存儲訓練數據的設備提出了很高的要求。為此，專用于存儲訓練數據的存儲系統應運而生。

然而，專用于存儲訓練數據的存儲系統的性能如何，目前還沒有有效的測試方法。

發明內容

本發明實施例的目的在于提供一種對存儲訓練數據的云存儲系統的仿真測試系統及方法，以實現對存儲訓練數據的云存儲系統的有效測試。

為了達到上述目的，本發明實施例提供了一種對存儲訓練數據的云存儲系統的仿真測試系統，所述仿真測試系統，包括：訓練任務生成器、訓練任務執行模擬器和云存儲系統模擬器；

所述訓練任務生成器，用于獲得待訓練模型和訓練參數，生成訓練任務；

所述訓練任務執行模擬器，用于模擬出模型訓練服務器，并使得模擬出的模型訓練服務器，基于訓練任務對應的待訓練模型和訓練參數，從所述云存儲系統模擬器中，獲得所述待訓練模型所需要的待訓練數據進行加載，執行所述訓練任務；并記錄所述加載待訓練數據的時長及執行完成訓練任務所需要的時長，作為測試結果數據；

所述云存儲系統模擬器，用于模擬出云存儲系統，以及搭載所述云存儲系統的至少一臺虛擬服務器；所述各臺虛擬服務器提供所述云存儲系統所需的處理器資源、內存資源和磁盤資源；所有待訓練數據存儲在所述磁盤資源中，全部或部分待訓練數據存儲在所述內存資源中。

進一步的，所述的仿真測試系統，還包括：訓練任務調度器；

所述訓練任務生成器，具體用于獲得多個待訓練模型和對應的訓練參數，生成針對不同待訓練模型的多個訓練任務；

所述訓練任務調度器，用于從多個預設的任務調度策略中，選擇一個調度策略作為本次仿真測試的目標策略；所述每個任務調度策略，包括：一次仿真測試要完成的訓練任務的數量和完成順序；按目標策略，從所述多個訓練任務中選擇本次仿真測試的一個或多個訓練任務作為目標訓練任務；

所述訓練任務執行模擬器，具體用于模擬出模型訓練服務器，并使得模擬出的模型訓練服務器，按所述目標策略中的任務完成順序，基于每個目標訓練任務對應的待訓練模型和訓練參數，從所述云存儲系統模擬器中，獲得該待訓練模型所需要的待訓練數據進行加載，執行該目標訓練任務；并記錄每個目標訓練任務加載待訓練數據的時長及執行完成訓練任務所需要的時長，計算各個目標訓練任務加載待訓練數據的時長的平均值及執行完成訓練任務所需要的時長的平均值，作為測試結果數據。

進一步的，所述訓練任務執行模擬器，模擬出模型訓練服務器，包括：模擬出模型訓練服務器的處理器資源和I/O資源；由所述處理器資源基于訓練任務對應的待訓練模型和訓練參數，通過所述I/O資源，從所述云存儲系統模擬器中，獲得所述待訓練模型所需要的待訓練數據進行加載，執行所述訓練任務；并記錄所述加載待訓練數據的時長及執行完成訓練任務所需要的時長，作為測試結果數據。