[發明專利]一種基于MQTT及HTTP的AI算力池集群管理方法

在審

• 申請號: 202010155133.1
• 申請日: 2020-03-06
• 公開（公告）號: CN111405012A
• 公開（公告）日: 2020-07-10
• 發明（設計）人: 汪云;劉毅;林鵬程;梁剛
• 申請（專利權）人: 深圳市瑞馳信息技術有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L12/24;G06N20/00
• 代理公司: 深圳市中科創為專利代理有限公司 44384
• 代理人: 彭西洋

本發明涉及一種基于MQTT及HTTP的AI算力池集群管理方法，包括步驟：S1、根據每一節點上已經運行的任務個數，計算出每一節點剩余的算力AI_k，0k≤n，k、n為正整數；S2、將所有Al_k通過預設策略保存到一個鏈表中；S3、當有計算任務時，調取鏈表中某一算力Al_m，若算力Al_m滿足任務算力的要求時，則將任務調度到算力Al_m對應的節點m上運行，并重新計算節點m的剩余算力Al’_m，重新按預設策略保存到鏈表中。本發明方法可以實現集群設備算力的優化管理，相對于現有單顆嵌入式AI芯片，基于本發明的方法，可以使用多顆嵌入式AI芯片并聯，通過網絡集群統一管理達到高算力、低價格也不失為一種較好的解決方案。

技術領域

本發明涉及AI算力的管理技術，尤其涉及一種基于MQTT及HTTP的AI算力池集群管理方法，用于AI芯片算力的管理。

背景技術

近年來，隨著AI行業的不斷發展及完善，AI應用對泛安防AI場景不斷滲透，以及民眾對AI應用的廣泛需求，提供一種高性價比、較強算力AI設備的需求也越來越強烈。雖然基于傳統的X86 CPU+GPU架構的方案能滿足很多AI場景的算力要求，但是價格高昂導致很多民用場景的AI應用無法落地。隨著嵌入式AI芯片的發展，單顆嵌入式AI芯片算力也越來越高，但是基于較大場景的AI應用，單顆嵌入式AI芯片的算力還是略顯不足。因此，使用多顆嵌入式AI芯片并聯，通過網絡集群統一管理達到高算力、低價格也不失為一種較為完美的解決方案。因此，本申請提出一種基于HTTP及MQTT進行設備集群管理的方法。

名詞解釋：

HTTP是一個工作在TCP之上的簡單的請求、響應協議。通過HTTP協議，客戶端可以將數據推送至服務器端，并通過響應頭及內容判斷數據是否處理成功，如果失敗，客戶端可以進行緩存，每隔一定時間再進行推送，直到成功為止，通過這種方法，可以確保數據能安全到達服務器。一般情況下，較大的數據包及推送類型的數據通過HTTP進行傳輸比較合適。

MQTT是一個工作在TCP之上的基于發布/訂閱范式的輕量級消息協議，可以用極少的代碼和網絡帶寬提供實時可靠的消息服務。MQTT協議中主要有三種身份：發布者(Publisher)、代理(Broker，服務器)、訂閱者(Subscriber)，其中，消息的發布者和訂閱者都是客戶端，消息代理是服務器，而消息發布者可以同時是訂閱者，實現了生產者與消費者的解耦。MQTT可以進行消息發布的服務質量控制：至多一次(消息到達一次或零次，用于丟失一次不影響系統穩定性的消息)、至少一次(確保消息到達，但可能重復)、只有一次(確保消息到達一次)。一般情況下，設備配置類型的數據，使用MQTT進行交互較為合適。

本方法中將管理的AI計算單元稱為節點。在通信協議層面，節點為MQTTSubscriber、HTTP客戶端。

發明內容

本發明正是針對上述存在的問題，本發明提供一種基于MQTT及HTTP的AI算力池集群管理方法。

為實現上述目的，本發明的具體技術方案如下：

一種基于MQTT及HTTP的AI算力池集群管理方法，包括如下步驟：

S1、根據每一節點上已經運行的任務個數，計算出每一節點剩余的算力AI_k，0k≤n，k、n為正整數；

S2、將所有Al_k通過預設策略保存到一個鏈表中；

S3、當有計算任務時，調取鏈表中某一算力Al_m，若算力Al_m滿足任務算力的要求時，則將任務調度到算力Al_m對應的節點m上運行，并重新計算節點m的剩余算力Al’_m，重新按預設策略保存到鏈表中；