[發明專利]一種基于國產CPU和OS的人工智能加速卡調度方法及裝置

在審

• 申請號: 202110954086.1
• 申請日: 2021-08-19
• 公開（公告）號: CN113835876A
• 公開（公告）日: 2021-12-24
• 發明（設計）人: 姜玉哲;孫桂剛;李超
• 申請（專利權）人: 浪潮軟件集團有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;H04L12/26;H04L29/06;H04L29/08
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 馮春連

1.一種基于國產CPU和OS的人工智能加速卡調度方法，其特征在于,其實現過程涉及基于國產CPU和OS的服務器、部署于服務器的多張人工智能加速卡、部署于集群管理工具的調度中心；

首先，將服務器作為推送視頻流的客戶端，人工智能加速卡作為監聽客戶端端口的tcp服務端；

隨后，建立tcp連接池，調度中心監控tcp連接池的剩余連接數；

最后，客戶端需要處理數據時，向調度中心發起請求，調度中心根據用戶選擇的調度策略給客戶端分配tcp連接，客戶端即可通過分配的tcp連接將采集的圖像發送至相應的人工智能加速卡。

2.根據權利要求1所述的一種基于國產CPU和OS的人工智能加速卡調度方法，其特征在于，所述調度策略包括最少資源占比策略、加速卡親和策略；

(A)所述最少資源占比策略由人工智能加速卡的利用率和模型數來決定，采用以下分段函數對人工智能加速卡的利用率進行處理：

其中，Usage表示人工智能加速卡的利用率，其范圍是0-1，這里只用sin函數部分，所以需要對利用率進行變換；當人工智能加速卡利用率大于80％時，速度會急速下降，系數是根據測試得到的；p表示人工智能加速卡的利用率；

(B)采用加速卡親和策略時，數據會依次發送給每張人工智能加速卡，人工智能加速卡在返回結果時會將計算時間返回給調度中心；調用中心會根據上一次的計算時間給出相應的概率，然后選取概率最大的人工智能加速卡作為目標加速卡；但當某張指定人工智能加速卡的利用率高于80％時，調度中心會為其更換目標加速卡；當所有人工智能加速卡利用率都高于80％時，調度中心會選擇最初的概率最大的人工智能加速卡。

3.根據權利要求2所述的一種基于國產CPU和OS的人工智能加速卡調度方法，其特征在于，所述調度中心監控tcp連接池的剩余連接數，同時收集運行在人工智能加速卡的模型及其利用率；

在開啟人工智能加速卡的親和策略時，所述調度中心還會收集人工智能加速卡處理數據的速度，以便根據人工智能加速卡的實際運行情況，合理分配資源。

4.根據權利要求3所述的一種基于國產CPU和OS的人工智能加速卡調度方法，其特征在于，所述調度中心監控tcp連接池的剩余連接數，當一段時間內tcp連接池的剩余連接數過多時，所述調度中心會減少tcp連接池的數目，反之則增加tcp連接池的數目。

5.根據權利要求4所述的一種基于國產CPU和OS的人工智能加速卡調度方法，其特征在于，所述調度中心每1min收集一次tcp連接池的剩余連接數，若是5分鐘內剩余連接數的平均大于10，則將tcp連接池減少10，相應的，若是剩余連接數在5分鐘內都為0，則增加10。

6.一種基于國產CPU和OS的人工智能加速卡調度裝置，其特征在于，其結構包括：

基于國產CPU和OS的服務器，作為推送視頻流的客戶端，用于將采集的圖像發送給人工智能加速卡；

多張人工智能加速卡，部署于服務器，用于監聽客戶端端口；

調度中心，用于根據用戶選擇的調度策略給客戶端分配tcp連接，使客戶端采集的圖像通過tcp連接發送給相應的人工智能加速卡。