[發(fā)明專利]提交結(jié)構(gòu)化機(jī)器學(xué)習(xí)計(jì)算任務(wù)到計(jì)算集群的方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202211125556.4
• 申請(qǐng)日: 2022-09-16
• 公開（公告）號(hào): CN115334152B
• 公開（公告）日: 2023-03-28
• 發(fā)明（設(shè)計(jì)）人: 王明亮;肖宇軒
• 申請(qǐng)（專利權(quán)）人: 北京向量棧科技有限公司
• 主分類號(hào): H04L67/56
• 分類號(hào): H04L67/56;H04L67/10;G06N20/00;G06F9/50;G06F9/54;G06F8/71
• 代理公司: 北京格匯專利代理事務(wù)所(特殊普通合伙) 16088
• 代理人: 張偉洋

1.一種提交結(jié)構(gòu)化機(jī)器學(xué)習(xí)計(jì)算任務(wù)到計(jì)算集群的方法，其特征在于，包括：

獲取用戶創(chuàng)建的代碼包；

在用戶端代理程序被調(diào)用時(shí)，運(yùn)行代碼包；

將用戶端代理程序與集群內(nèi)組件建立連接，并進(jìn)行數(shù)據(jù)通信；

所述方法包括：

獲取用戶創(chuàng)建的包含項(xiàng)目文件以及定義文件的文件系統(tǒng)的目錄作為代碼包；

其中，定義文件用于定義代碼包的詳細(xì)信息和運(yùn)行方式，代碼包的詳細(xì)信息至少包括版本、名稱、描述；運(yùn)行方式至少包括目標(biāo)和動(dòng)作的定義；

在用戶端代理程序被調(diào)用時(shí)，用戶端代理程序通過(guò)讀取代碼包的定義文件來(lái)執(zhí)行用戶指定的動(dòng)作；

對(duì)于需要位于計(jì)算集群中的集群內(nèi)組件提供必要支持的部分動(dòng)作，用戶端代理程序向集群內(nèi)組件發(fā)送請(qǐng)求；

在運(yùn)行某個(gè)目標(biāo)時(shí)，用戶端代理程序遞歸地解析所有依賴的目標(biāo)，動(dòng)態(tài)地構(gòu)建一個(gè)有向無(wú)環(huán)圖，串行或者并行地運(yùn)行圖中當(dāng)前沒有依賴或依賴已經(jīng)運(yùn)行完畢的目標(biāo)；

用戶端代理程序在執(zhí)行動(dòng)作時(shí)，與集群持續(xù)通信來(lái)監(jiān)控當(dāng)前動(dòng)作的狀態(tài)，從而根據(jù)用戶預(yù)先設(shè)定的策略來(lái)處理各種情形；

將用戶端代理程序與集群內(nèi)組件建立連接，用戶端代理程序向集群內(nèi)組件發(fā)送請(qǐng)求，并接收集群內(nèi)組件返回的結(jié)果；

用戶端代理程序還能夠與其他服務(wù)器直接建立連接，向與其建立連接的服務(wù)器發(fā)送請(qǐng)求，并能夠接收返回結(jié)果。

2.如權(quán)利要求1所述的方法，其特征在于，

所述將用戶端代理程序與集群內(nèi)組件建立連接，并進(jìn)行數(shù)據(jù)通信，包括：

將用戶端代理程序與集群內(nèi)組件暴露的公開接口建立連接，采用計(jì)算機(jī)網(wǎng)絡(luò)應(yīng)用層協(xié)議中的任一種進(jìn)行用戶端代理程序與集群內(nèi)組件之間的數(shù)據(jù)通信。

3.如權(quán)利要求2所述的方法，其特征在于，

所述方法還包括：集群內(nèi)組件在接收到來(lái)自用戶端代理程序的請(qǐng)求時(shí)首先檢查用戶是否具有運(yùn)行該計(jì)算任務(wù)的權(quán)限。

4.一種提交結(jié)構(gòu)化機(jī)器學(xué)習(xí)計(jì)算任務(wù)到計(jì)算集群的裝置，其特征在于，包括：

獲取模塊，用于獲取用戶創(chuàng)建的代碼包；

調(diào)用模塊，用于在用戶端代理程序被調(diào)用時(shí)，運(yùn)行代碼包；

通信模塊，用于將用戶端代理程序與集群內(nèi)組件建立連接，并進(jìn)行數(shù)據(jù)通信；

所述裝置用于執(zhí)行以下方法，步驟包括：

獲取用戶創(chuàng)建的包含項(xiàng)目文件以及定義文件的文件系統(tǒng)的目錄作為代碼包；

其中，定義文件用于定義代碼包的詳細(xì)信息和運(yùn)行方式，代碼包的詳細(xì)信息至少包括版本、名稱、描述；運(yùn)行方式至少包括目標(biāo)和動(dòng)作的定義；

在用戶端代理程序被調(diào)用時(shí)，用戶端代理程序通過(guò)讀取代碼包的定義文件來(lái)執(zhí)行用戶指定的動(dòng)作；

對(duì)于需要位于計(jì)算集群中的集群內(nèi)組件提供必要支持的部分動(dòng)作，用戶端代理程序向集群內(nèi)組件發(fā)送請(qǐng)求；

在運(yùn)行某個(gè)目標(biāo)時(shí)，用戶端代理程序遞歸地解析所有依賴的目標(biāo)，動(dòng)態(tài)地構(gòu)建一個(gè)有向無(wú)環(huán)圖，串行或者并行地運(yùn)行圖中當(dāng)前沒有依賴或依賴已經(jīng)運(yùn)行完畢的目標(biāo)；

用戶端代理程序在執(zhí)行動(dòng)作時(shí)，與集群持續(xù)通信來(lái)監(jiān)控當(dāng)前動(dòng)作的狀態(tài)，從而根據(jù)用戶預(yù)先設(shè)定的策略來(lái)處理各種情形；

將用戶端代理程序與集群內(nèi)組件建立連接，用戶端代理程序向集群內(nèi)組件發(fā)送請(qǐng)求，并接收集群內(nèi)組件返回的結(jié)果；

用戶端代理程序還能夠與其他服務(wù)器直接建立連接，向與其建立連接的服務(wù)器發(fā)送請(qǐng)求，并能夠接收返回結(jié)果。