[發明專利]一種基于AI芯片的多模型并行推理方法

在審

• 申請號: 202110075174.4
• 申請日: 2021-01-20
• 公開（公告）號: CN112783650A
• 公開（公告）日: 2021-05-11
• 發明（設計）人: 郁善金;施佩琦;高豐;楊濤;梁松濤;鄭歡歡;汪明軍;王曉江
• 申請（專利權）人: 之江實驗室
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F15/78
• 代理公司: 杭州浙科專利事務所(普通合伙) 33213
• 代理人: 陳包杰

本發明公開一種基于AI芯片的多模型并行推理方法。采用的技術方案包括以下步驟：步驟一：模型轉換，至少將Tensorflow/Caffe AI框架訓練的模型通過轉換工具轉換為AI芯片可解析的OM模型；步驟二：加載轉換的OM模型，并遵循AscendCL庫接口，采用線程方式并行執行多個模型推理。優點如下：針對單一推理模型并不能高效利用AI芯片（如華為公司的Ascend 310芯片）的算力的不足問題，以充分挖掘Ascend 310芯片的算力，研究多模型并行推理，同時能夠保持良好的性能。

技術領域

本發明屬于AI芯片領域，具體涉及一種基于AI芯片的多模型并行推理方法。

背景技術

近年來，隨著萬物互聯時代的到來和5G網絡的普及，每天數以萬計的語音助手、翻譯、推薦、視頻管理、自動駕駛等各類新興服務，都在以超快速度完成深度學習推理。對于開發者來說，不僅要滿足最終用戶關注的AI產品的實時性、高準確度的需求，還要考慮成本、能效等因素，因而，能滿足可編程性、低延遲、高準確度、高吞吐量、易部署的成套AI推理軟硬件組合成為開發者的心頭好。基于此，NVIDIA發布的GPU，不斷受到業界的好評，極大的促進了深度學習的發展。相較于CPU，它可以帶來速度、準確度和快速響應能力的成倍提升。AI技術的飛速發展，使得越來越多的廠商也開始參與其中。華為全棧全場景AI解決方案的Ascend 310 AI芯片是業界面向邊緣計算場景最強算力的AI系統級芯片。能夠滿足當前典型的邊緣計算場景：安防、自動駕駛和智能制造，對空間、功耗、算力提出的苛刻約束條件的需求。據測算一顆Ascend 310 AI芯片可以實現高達16TOPS的現場算力，支持同時識別包括人、車、障礙物、交通標示在內的200個不同的物體。Ascend系列AI芯片的另外一個獨特優勢是采用了華為開創性的統一、可擴展的架構，即“達芬奇”架構，它實現了從極致的低功耗到極致的大算力場景的全覆蓋。“達芬奇”架構能一次開發適用于所有場景的部署、遷移和協同，大大提升了軟件開發的效率，加速AI在各行業的切實應用。

發明內容

本發明要解決的技術問題是提供一種基于AI芯片的多模型并行推理方法。

為解決上述問題，本發明采用的技術方案包括以下步驟：

步驟一：模型轉換，至少將Tensorflow/Caffe AI框架訓練的模型通過轉換工具轉換為AI芯片可解析的OM模型；

步驟二：加載轉換的OM模型，并遵循AscendCL庫接口，采用線程方式并行執行多個模型推理；

其中，所述步驟二通過以下子步驟實現：

步驟2.1，主線程，初始化ACL資源；

步驟2.2，主線程，申請Device資源；

步驟2.3，啟動子線程，根據不同模型推理速度的差異性以及推理模型數量，建立不同的隊列分別存儲原始視頻幀數據；

步驟2.4，根據需要推理的模型數量，分別啟動對應的子線程，每個子線程做如下動作；

步驟2.4.1，Context、Stream資源申請；

步驟2.4.2，模型加載；

步驟2.4.3，預處理，讀取隊列中圖片幀數據，對圖片進行壓縮；

步驟2.4.4，推理，基于加載的模型，生成的模型ID；

步驟2.4.5，后處理，基于推理結果解析，并推送給用戶展示效果；

步驟2.4.6，重復預處理-推理-后處理過程，直至隊列為空；

步驟2.4.7，模型卸載；

步驟2.4.8，Context、Stream資源釋放；

步驟2.5，等待所有的子線程結束后，主線程釋放Device資源；

步驟2.6，主線程ACL資源去初始化。

所述的基于AI芯片的多模型并行推理方法，其特征在于，所述步驟一通過以下子步驟來實現：