[發明專利]一種基于沙箱環境的機器學習訓練平臺實現

有效

• 申請號: 202011181258.8
• 申請日: 2020-10-29
• 公開（公告）號: CN112434284B
• 公開（公告）日: 2022-05-17
• 發明（設計）人: 魯振華;崔運凱;田廣杰;王廣宇;張峰;惠人杰;高源
• 申請（專利權）人: 格物鈦（上海）智能科技有限公司
• 主分類號: G06F21/53
• 分類號: G06F21/53;G06F21/62;G06N20/00
• 代理公司: 上海國瓴律師事務所 31363
• 代理人: 傅耀

1.一種基于沙箱環境的機器學習訓練平臺實現，其特征在于，包括鏡像管理模塊、資源調度模塊、數據平臺模塊、訓練管理服務模塊和沙箱管理服務模塊；其中

所述沙箱管理服務模塊用于管理用戶沙箱訓練環境，隔離所述用戶沙箱訓練環境和數據平臺模塊；

所述訓練平臺與用戶鏡像平臺相連接，所述用戶鏡像平臺包括用戶訓練代碼和沙箱API模塊；

非沙箱環境的機器學習的方法為:

S1：通過用戶訓練代碼模塊調用沙箱API模塊請求數據；

S2：沙箱API模塊判斷當前處于非沙箱環境，向沙箱管理服務模塊請求獲取示例數據；

S3：沙箱管理服務模塊向數據平臺請求示例數據；

S4：用戶訓練代碼調試通過后，用戶可以將訓練代碼打包成鏡像上傳到鏡像管理模塊

沙箱環境的機器學習的方法為：

S1：用戶調用訓練管理服務模塊進行訓練，提供訓練用鏡像、數據集以及資源信息；

S2：訓練管理服務模塊調用沙箱管理服務模塊創建一個新的沙箱任務；

S3：訓練管理服務模塊調用服務啟動訓練任務；

S4：資源調度模塊從鏡像管理模塊獲取用戶訓練用鏡像；

S5：資源調度模塊根據用戶訓練要求的計算資源，分配相應數量與規格的計算資源，使用用戶鏡像進行訓練；

S6：用戶訓練代碼開始執行，調用沙箱API模塊訪問數據；

S7：沙箱API模塊判斷當前處于沙箱訓練環境，向沙箱管理服務模塊請求獲取沙箱Agent；

S8：沙箱管理服務模塊根據請求的沙箱API模塊ID，并將秘鑰加密后注入到沙箱Agent中，并返回加密后的沙箱Agent；

S9：后續用戶訓練代碼說有訪問數據的請求，都會由沙箱API模塊調用沙箱Agent接口來向沙箱管理服務模塊進行請求；

S10：沙箱Agent與沙箱管理服務模塊之間的所有數據通信都會使用沙箱Agent中的秘鑰進行加密；

S11：沙箱管理服務模塊在收到沙箱Agent的請求時，會先校驗秘鑰正確性和有效性，如果正確有效，對請求數據進行解密后再進行下一步處理；

S12：沙箱管理服務對解密后的請求進行處理，請求對應的后端服務，并將返回的結果使用對應的秘鑰進行加密后發送給對應的沙箱Agent。

2.根據權利要求1所述的一種基于沙箱環境的機器學習訓練平臺實現，其特征在于：所述沙箱API模塊判斷處于非沙箱環境，沙箱API模塊會將數據請求轉成請求樣例數據而不是整個數據集。

3.根據權利要求1所述的一種基于沙箱環境的機器學習訓練平臺實現，其特征在于：所述沙箱管理服務模塊對解密后的用戶請求進行處理，并傳輸至后端服務，將后端服務反饋的結果進行加密后發送至沙箱Agent。

4.根據權利要求1所述的一種基于沙箱環境的機器學習訓練平臺實現，其特征在于：在所述沙箱環境的機器學習方法中的S5中，計算資源與后臺服務之間設有網絡隔離，僅允許通過沙箱管理服務模塊進行通信。

5.根據權利要求1所述的一種基于沙箱環境的機器學習訓練平臺實現，其特征在于：通信數據包括預訓練模型讀取、超參數讀取、數據集讀取、訓練可視化數據保存和訓練結構保存。

6.根據權利要求1所述的一種基于沙箱環境的機器學習訓練平臺實現，其特征在于：在所述沙箱環境的機器學習方法中，沙箱API模塊會從沙箱管理服務模塊中獲取包括秘鑰的沙箱Agent。

7.根據權利要求6所述的一種基于沙箱環境的機器學習訓練平臺實現，其特征在于：所述沙箱管理服務模塊僅與沙箱Agent使用秘鑰進行通信，所有數據通信全程加密。