[發明專利]一種對存儲訓練數據的云存儲系統的仿真測試系統及方法

有效

• 申請號: 202110089178.8
• 申請日: 2021-01-22
• 公開（公告）號: CN112799924B
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 余虹建;李錦豐;朱軍;李秋慶
• 申請（專利權）人: 北京聚云科技有限公司
• 主分類號: G06F11/34
• 分類號: G06F11/34
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 項京;高鶯然

1.一種對存儲訓練數據的云存儲系統的仿真測試系統，其特征在于，所述仿真測試系統，包括：訓練任務生成器、訓練任務執行模擬器和云存儲系統模擬器；

所述訓練任務生成器，用于獲得待訓練模型和訓練參數，生成訓練任務；

所述訓練任務執行模擬器，用于模擬出模型訓練服務器，并使得模擬出的模型訓練服務器，基于訓練任務對應的待訓練模型和訓練參數，從所述云存儲系統模擬器中，獲得所述待訓練模型所需要的待訓練數據進行加載，執行所述訓練任務；并記錄所述加載待訓練數據的時長及執行完成訓練任務所需要的時長，作為測試結果數據；

所述云存儲系統模擬器，用于模擬出云存儲系統，以及搭載所述云存儲系統的至少一臺虛擬服務器；所述各臺虛擬服務器提供所述云存儲系統所需的處理器資源、內存資源和磁盤資源；所有待訓練數據存儲在所述磁盤資源中，全部或部分待訓練數據存儲在所述內存資源中。

2.根據權利要求1所述的系統，其特征在于，所述的仿真測試系統，還包括：訓練任務調度器；

所述訓練任務生成器，具體用于獲得多個待訓練模型和對應的訓練參數，生成針對不同待訓練模型的多個訓練任務；

所述訓練任務調度器，用于從多個預設的任務調度策略中，選擇一個調度策略作為本次仿真測試的目標策略；所述每個任務調度策略，包括：一次仿真測試要完成的訓練任務的數量和完成順序；按目標策略，從所述多個訓練任務中選擇本次仿真測試的一個或多個訓練任務作為目標訓練任務；

所述訓練任務執行模擬器，具體用于模擬出模型訓練服務器，并使得模擬出的模型訓練服務器，按所述目標策略中的任務完成順序，基于每個目標訓練任務對應的待訓練模型和訓練參數，從所述云存儲系統模擬器中，獲得該待訓練模型所需要的待訓練數據進行加載，執行該目標訓練任務；并記錄每個目標訓練任務加載待訓練數據的時長及執行完成訓練任務所需要的時長，計算各個目標訓練任務加載待訓練數據的時長的平均值及執行完成訓練任務所需要的時長的平均值，作為測試結果數據。

3.根據權利要求1所述的系統，其特征在于，所述訓練任務執行模擬器，模擬出模型訓練服務器，包括：模擬出模型訓練服務器的處理器資源和I/O資源；由所述處理器資源基于訓練任務對應的待訓練模型和訓練參數，通過所述I/O資源，從所述云存儲系統模擬器中，獲得所述待訓練模型所需要的待訓練數據進行加載，執行所述訓練任務；并記錄所述加載待訓練數據的時長及執行完成訓練任務所需要的時長，作為測試結果數據。

4.根據權利要求1所述的系統，其特征在于，所述云存儲系統模擬器，模擬出云存儲系統包括：基于所述各臺虛擬服務器提供所述存儲系統所需的處理器資源，模擬出存儲系統的數據連接器和緩存管理器；

所述模擬出的數據連接器，用于接收所述訓練任務執行模擬器發送的數據加載請求轉發給緩存管理器；

所述模擬出的緩存管理器，用于判斷所述內存資源中是否存儲有所述待訓練模型所需要的待訓練數據，如果有，則從所述內存資源中獲得所述待訓練模型所需要的待訓練數據返回給所述訓練任務執行模擬器；如果沒有，則從所述磁盤資源中獲得所述待訓練模型所需要的待訓練數據返回給所述訓練任務執行模擬器。

5.根據權利要求1～4任一項所述的系統，其特征在于，所述訓練任務生成器，獲得待訓練模型和訓練參數，包括：獲得待訓練模型的模型結構、初始模型參數和訓練時長。

6.一種對存儲訓練數據的云存儲系統的仿真測試方法，其特征在于，應用于權利要求1所述的仿真測試系統，該仿真測試方法包括：

所述訓練任務生成器，獲得待訓練模型和訓練參數，生成訓練任務；

所述訓練任務執行模擬器，模擬出模型訓練服務器，并使得模擬出的模型訓練服務器，基于訓練任務對應的待訓練模型和訓練參數，從所述云存儲系統模擬器中，獲得所述待訓練模型所需要的待訓練數據進行加載，執行所述訓練任務；并記錄所述加載待訓練數據的時長及執行完成訓練任務所需要的時長，作為測試結果數據；

所述云存儲系統模擬器，模擬出云存儲系統，以及搭載所述云存儲系統的至少一臺虛擬服務器；所述各臺虛擬服務器提供所述云存儲系統所需的處理器資源、內存資源和磁盤資源；所有待訓練數據存儲在所述磁盤資源中，全部或部分待訓練數據存儲在所述內存資源中。