[發明專利]提交結構化機器學習計算任務到計算集群的方法

有效

• 申請號: 202211125556.4
• 申請日: 2022-09-16
• 公開（公告）號: CN115334152B
• 公開（公告）日: 2023-03-28
• 發明（設計）人: 王明亮;肖宇軒
• 申請（專利權）人: 北京向量棧科技有限公司
• 主分類號: H04L67/56
• 分類號: H04L67/56;H04L67/10;G06N20/00;G06F9/50;G06F9/54;G06F8/71
• 代理公司: 北京格匯專利代理事務所(特殊普通合伙) 16088
• 代理人: 張偉洋

本發明公開一種提交結構化機器學習計算任務到計算集群的方法，屬于集群計算、大規模計算、機器學習技術領域，特別涉及一種提交結構化機器學習計算任務到計算集群的系統，包括：代碼包、用戶端代理程序以及集群內組件；代碼包至少包括：包含項目文件以及定義文件的文件系統的目錄，其中，定義文件用于定義代碼包的詳細信息和運行方式，代碼包的詳細信息至少包括版本、名稱、描述，運行方式至少包括目標和動作的定義；用戶端代理程序用于通過讀取代碼包的定義文件來執行用戶指定的動作；用戶端代理程序與集群內組件建立連接，進行數據通信。本發明提出目標、動作的抽象并給出代碼包的定義文件規約，使提交計算任務到計算集群操作簡單、便捷。

技術領域

本發明屬于集群計算、大規模計算、機器學習技術領域，特別涉及一種提交結構化機器學習計算任務到計算集群的方法、裝置及系統。

背景技術

在計算機中，集群是使用多個計算機，如典型的個人計算機或UNIX工作站，多個存儲設備和記憶冗余的互連線路來組成一個對用戶來說單一的、高可用的系統。集群計算(clustering computing)能夠被用來實現負載均衡。

集群計算還可以被用來進行成本低廉的并行計算，這些并行計算通常為科學計算、機器學習、數據分析或其它需要并行計算的應用服務。

本發明人經研究發現，在現有技術中，在采用諸如kubectl的集群管理工具時，用戶的手動操作多，需要運行額外的命令去獲得計算結果，監視狀態，并進行人工判斷；如果使用程序腳本來實現所有的動作、控制邏輯和工作流等，又需要較高的軟件工程能力，工作難度高，并且會耗費額外的時間。

發明內容

為了至少解決上述技術問題，本發明提供了一種提交結構化機器學習計算任務到計算集群的方法及裝置。

根據本發明第一方面，提供了一種提交結構化機器學習計算任務到計算集群的方法，包括：

獲取用戶創建的代碼包；

在用戶端代理程序被調用時，運行代碼包；

將用戶端代理程序與集群內組件建立連接，并進行數據通信。

進一步的，所述獲取用戶創建的代碼包，包括：獲取用戶創建的包含項目文件以及定義文件的文件系統的目錄，將包含項目文件以及定義文件的文件系統的目錄作為代碼包。

進一步的，所述定義文件用于定義代碼包的詳細信息和運行方式；

其中，代碼包的詳細信息至少包括版本、名稱、描述；

運行方式至少包括目標和動作的定義。

進一步的，所述運行代碼包，包括：用戶端代理程序通過讀取代碼包的定義文件來執行用戶指定的動作。

進一步的，所述將用戶端代理程序與集群內組件建立連接，并進行數據通信，包括：

將用戶端代理程序與集群內組件暴露的公開接口建立連接，采用計算機網絡應用層協議中的任一種進行用戶端代理程序與集群內組件之間的數據通信。

進一步的，所述方法還包括：集群內組件在接收到來自用戶端代理程序的請求時首先檢查用戶是否具有運行該計算任務的權限。

進一步的，所述方法還包括：用戶端代理程序設置有工作流機制；

在運行某個目標時，用戶端代理程序遞歸地解析所有依賴的目標，動態地構建一個有向無環圖，串行或者并行地運行圖中當前沒有依賴或依賴已經運行完畢的目標。

進一步的，所述方法包括：

獲取用戶創建的包含項目文件以及定義文件的文件系統的目錄作為代碼包；