[發(fā)明專利]一種基于沙箱環(huán)境的機(jī)器學(xué)習(xí)訓(xùn)練平臺(tái)實(shí)現(xiàn)

有效

• 申請?zhí)枺?/td>: 202011181258.8
• 申請日: 2020-10-29
• 公開（公告）號(hào): CN112434284B
• 公開（公告）日: 2022-05-17
• 發(fā)明（設(shè)計(jì)）人: 魯振華;崔運(yùn)凱;田廣杰;王廣宇;張峰;惠人杰;高源
• 申請（專利權(quán)）人: 格物鈦（上海）智能科技有限公司
• 主分類號(hào): G06F21/53
• 分類號(hào): G06F21/53;G06F21/62;G06N20/00
• 代理公司: 上海國瓴律師事務(wù)所 31363
• 代理人: 傅耀

本發(fā)明提供了一種基于沙箱環(huán)境的機(jī)器學(xué)習(xí)訓(xùn)練平臺(tái)實(shí)現(xiàn)。包括鏡像管理模塊、資源調(diào)度模塊、數(shù)據(jù)平臺(tái)模塊、訓(xùn)練管理服務(wù)模塊和沙箱管理服務(wù)模塊，沙箱管理服務(wù)模塊用于管理用戶沙箱訓(xùn)練環(huán)境，隔離用戶沙箱訓(xùn)練環(huán)境和數(shù)據(jù)平臺(tái)模塊，訓(xùn)練平臺(tái)與用戶鏡像平臺(tái)相連接，用戶鏡像平臺(tái)包括用戶訓(xùn)練代碼和沙箱API模塊，沙箱API模塊會(huì)對是否處于沙箱環(huán)境進(jìn)行判斷，并依據(jù)不同的環(huán)境適用不同的方法。其中本發(fā)明的有益效果是：整個(gè)交互過程中網(wǎng)絡(luò)隔離，全程數(shù)據(jù)加密，最大程度保障數(shù)據(jù)的安全性與有效性。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能領(lǐng)域，特別涉及一種基于沙箱環(huán)境的機(jī)器學(xué)習(xí)訓(xùn)練平臺(tái)實(shí)現(xiàn)。

背景技術(shù)

現(xiàn)有機(jī)器學(xué)習(xí)平臺(tái)比如百度的PaddlePaddle,Linkdin的Photon ML,360的Xlearning,阿里巴巴的x-deeplearning,騰訊的Angel等主要解決是資源調(diào)度和資源隔離型的問題，但在數(shù)據(jù)訪問上并沒有做安全性方面的考量。

用戶在訪問自己的數(shù)據(jù)集或者平臺(tái)內(nèi)置數(shù)據(jù)集時(shí)，直接使用對應(yīng)數(shù)據(jù)源的API來訪問數(shù)據(jù)(文件系統(tǒng)，網(wǎng)盤，亞馬遜對象存儲(chǔ)S3，阿里云對象存儲(chǔ)OSS 等)。

直接使用數(shù)據(jù)源API方式有以下幾個(gè)問題：

1.用戶必須擁有或者可以輕易拿到全部的數(shù)據(jù)集數(shù)據(jù)才能進(jìn)行訓(xùn)練，無法保障數(shù)據(jù)集提供者權(quán)益

2.用戶需要針對不同的數(shù)據(jù)源API做相應(yīng)的代碼集成工作

3.數(shù)據(jù)訪問過程不夠安全，網(wǎng)絡(luò)未隔離，傳輸過程未加密，其它拿到用戶代碼或鏡像的人(用戶共享給其它人，或者非法獲取等)也能夠訪問這些數(shù)據(jù)。

發(fā)明內(nèi)容

為了解決上述技術(shù)問題，本發(fā)明中披露了一種基于沙箱環(huán)境的機(jī)器學(xué)習(xí)訓(xùn)練平臺(tái)實(shí)現(xiàn)，本發(fā)明的技術(shù)方案是這樣實(shí)施的：

一種基于沙箱環(huán)境的機(jī)器學(xué)習(xí)訓(xùn)練平臺(tái)實(shí)現(xiàn)，其特征在于，包括鏡像管理模塊、資源調(diào)度模塊、數(shù)據(jù)平臺(tái)模塊、訓(xùn)練管理服務(wù)模塊和沙箱管理服務(wù)模塊；其中

沙箱管理服務(wù)模塊用于管理用戶沙箱訓(xùn)練環(huán)境，隔離用戶沙箱訓(xùn)練環(huán)境和數(shù)據(jù)平臺(tái)模塊；

訓(xùn)練平臺(tái)與用戶鏡像平臺(tái)相連接，用戶鏡像平臺(tái)包括用戶訓(xùn)練代碼和沙箱 API模塊；

非沙箱環(huán)境的機(jī)器學(xué)習(xí)的方法為:

S1：通過用戶訓(xùn)練代碼模塊調(diào)用沙箱API模塊請求數(shù)據(jù)；

S2：沙箱API模塊判斷當(dāng)前處于非沙箱環(huán)境，向沙箱管理服務(wù)模塊請求獲取示例數(shù)據(jù)；

S3：沙箱管理服務(wù)模塊向數(shù)據(jù)平臺(tái)請求示例數(shù)據(jù)；

S4：用戶訓(xùn)練代碼調(diào)試通過后，用戶可以將訓(xùn)練代碼打包成鏡像上傳到鏡像管理模塊

沙箱環(huán)境的機(jī)器學(xué)習(xí)的方法為：

S1：用戶調(diào)用訓(xùn)練管理服務(wù)模塊進(jìn)行訓(xùn)練，提供訓(xùn)練用鏡像、數(shù)據(jù)集以及資源信息；

S2：訓(xùn)練管理服務(wù)模塊調(diào)用沙箱管理服務(wù)模塊創(chuàng)建一個(gè)新的沙箱任務(wù)；

S3：訓(xùn)練管理服務(wù)模塊調(diào)用服務(wù)啟動(dòng)訓(xùn)練任務(wù)；

S4：資源調(diào)度模塊從鏡像管理模塊獲取用戶訓(xùn)練用鏡像；

S5：資源調(diào)度模塊根據(jù)用戶訓(xùn)練要求的計(jì)算資源，分配相應(yīng)數(shù)量與規(guī)格的計(jì)算資源，使用用戶鏡像進(jìn)行訓(xùn)練；

S6：用戶訓(xùn)練代碼開始執(zhí)行執(zhí)行，調(diào)用沙箱API模塊訪問數(shù)據(jù)；

S7：沙箱API模塊判斷當(dāng)前處于沙箱訓(xùn)練環(huán)境，向沙箱管理服務(wù)模塊請求獲取沙箱Agent；