[發明專利]一種集群任務調度方法、裝置及存儲介質

在審

• 申請號: 202010745480.X
• 申請日: 2020-07-29
• 公開（公告）號: CN112003903A
• 公開（公告）日: 2020-11-27
• 發明（設計）人: 褚向陽
• 申請（專利權）人: 北京小米松果電子有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F9/50;G06F21/64;G06Q40/04
• 代理公司: 北京鉦霖知識產權代理有限公司 11722
• 代理人: 李志新;劉亞平

本公開是關于一種集群任務調度方法、裝置及存儲介質。集群任務調度方法包括：響應于獲取到計算任務，基于智能合約生成計算任務交易請求；基于第一共識機制對所述計算任務交易請求進行共識，并將共識通過后的計算任務交易請求輸出至區塊鏈網絡的區塊鏈節點，所述區塊鏈網絡的區塊鏈節點為具有對計算任務進行計算的計算節點；根據所述區塊鏈節點對所述計算任務交易請求的應答信息，確定對所述計算任務進行執行的計算節點。本公開通過基于區塊鏈技術對集群任務進行調度，實現集群任務調度的去中心化，有效提升了集群任務調度的效率性和穩定性。

技術領域

本公開涉及人工智能領域，尤其涉及一種集群任務調度方法、裝置及存儲介質。

背景技術

相關技術中，隨著計算任務的數量增多，大多人工智能計算平臺采用集群方式提供計算服務。目前已知的集群管理和任務調度系統多采用的是Kubernetes實現，在Kubernetes架構中，控制層完成對集群節點管理以及計算任務的調度，屬于中心化的調度方式，當接收到提交的計算任務，控制層需要遍歷每個集群節點的狀態和資源使用情況，確定適合執行計算任務的節點，完成對計算任務的調度。但是隨著集群規模的增大，控制層需要花費更多的成本來精準同步所有集群節點的資源狀態，隨著任務的增多，采用中心化調度方式會導致計算任務調度的效率大大降低，對計算服務的可用性和穩定性帶來諸多不利的影響。

發明內容

為克服相關技術中存在的問題，本公開提供一種集群任務調度方法、裝置及存儲介質。

根據本公開實施例的第一方面，提供一種集群任務調度方法，所述方法包括：響應于獲取到計算任務，基于智能合約生成計算任務交易請求；基于第一共識機制對所述計算任務交易請求進行共識，并將共識通過后的計算任務交易請求輸出至區塊鏈網絡的區塊鏈節點，所述區塊鏈網絡的區塊鏈節點為具有對計算任務進行計算的計算節點；根據所述區塊鏈節點對所述計算任務交易請求的應答信息，確定對所述計算任務進行執行的計算節點。

在一實施例中，所述集群任務調度方法還包括：對獲取到的所述計算任務進行合法性認證；針對通過合法性認證的計算任務，確定所述智能合約。

在一實施例中，所述集群任務調度方法還包括：基于調度計算任務所需要的計算資源，以及所述區塊鏈網絡的區塊鏈節點的資源負載狀態，確定所述智能合約，所述智能合約中包括計算任務的計算資源配比、任務分配策略以及對應的管理操作中的一項或多項。

在一實施例中，所述集群任務調度方法還包括：預先創建共享賬本，所述共享賬本用于記錄計算集群中每個計算節點的負載狀態以及計算節點執行的計算任務對應的執行信息；所述區塊鏈網絡的區塊鏈節點的資源負載狀態基于所述共享賬本中記錄的歷史計算任務執行時所使用的資源進行確定。

在一實施例中，所述基于共識機制對所述計算任務交易請求進行共識，并將共識通過后的計算任務交易請求輸出至區塊鏈網絡的區塊鏈節點，包括：基于第一共識機制，對多個計算任務交易請求進行排序，得到排序后的計算任務交易請求列表；將排序后的計算任務交易請求列表輸出至區塊鏈網絡中的每個區塊鏈節點。

在一實施例中，所述根據所述區塊鏈節點對所述計算任務交易請求的應答信息，確定對所述計算任務進行執行的計算節點，包括：確定所述區塊鏈網絡中發出應答信息的區塊鏈節點，其中，所述應答信息表征該發出應答信息的計算節點發出執行計算任務的執行請求；基于第二共識機制，在發出應答信息的區塊鏈節點確定達成共識的區塊鏈節點；將所述達成共識的區塊鏈節點對應的計算節點，確定對所述計算任務進行執行的計算節點。

在一實施例中，所述集群任務調度方法還包括：將每個計算節點執行所述計算任務的執行信息上傳到所述共享賬本；基于所述計算節點執行的計算任務對應的執行信息，得到相應的統計信息，并將所述統計信息記錄到所述共享賬本中，其中，所述統計信息表征所述計算節點的資源使用情況。