[發(fā)明專(zhuān)利]一種基于AI芯片的多模型并行推理方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110075174.4
• 申請(qǐng)日: 2021-01-20
• 公開(kāi)（公告）號(hào): CN112783650A
• 公開(kāi)（公告）日: 2021-05-11
• 發(fā)明（設(shè)計(jì)）人: 郁善金;施佩琦;高豐;楊濤;梁松濤;鄭歡歡;汪明軍;王曉江
• 申請(qǐng)（專(zhuān)利權(quán)）人: 之江實(shí)驗(yàn)室
• 主分類(lèi)號(hào): G06F9/50
• 分類(lèi)號(hào): G06F9/50;G06F15/78
• 代理公司: 杭州浙科專(zhuān)利事務(wù)所(普通合伙) 33213
• 代理人: 陳包杰

1.一種基于AI芯片的多模型并行推理方法，其特征在于,包括以下步驟：

步驟一：模型轉(zhuǎn)換，至少將Tensorflow/Caffe AI框架訓(xùn)練的模型通過(guò)轉(zhuǎn)換工具轉(zhuǎn)換為AI芯片可解析的OM模型；

步驟二：加載轉(zhuǎn)換的OM模型，并遵循AscendCL庫(kù)接口，采用線程方式并行執(zhí)行多個(gè)模型推理；

其中，所述步驟二通過(guò)以下子步驟實(shí)現(xiàn)：

步驟2.1，主線程，初始化ACL資源；

步驟2.2，主線程，申請(qǐng)Device資源；

步驟2.3，啟動(dòng)子線程，根據(jù)不同模型推理速度的差異性以及推理模型數(shù)量，建立不同的隊(duì)列分別存儲(chǔ)原始視頻幀數(shù)據(jù)；

步驟2.4，根據(jù)需要推理的模型數(shù)量，分別啟動(dòng)對(duì)應(yīng)的子線程，每個(gè)子線程做如下動(dòng)作：

步驟2.4.1，Context、Stream資源申請(qǐng)；

步驟2.4.2，模型加載；

步驟2.4.3，預(yù)處理，讀取隊(duì)列中圖片幀數(shù)據(jù)，對(duì)圖片進(jìn)行壓縮；

步驟2.4.4，推理，基于加載的模型，生成的模型ID；

步驟2.4.5，后處理，基于推理結(jié)果解析，并推送給用戶展示效果；

步驟2.4.6，重復(fù)預(yù)處理-推理-后處理過(guò)程，直至隊(duì)列為空；

步驟2.4.7，模型卸載；

步驟2.4.8，Context、Stream資源釋放；

步驟2.5，等待所有的子線程結(jié)束后，主線程釋放Device資源；

步驟2.6，主線程ACL資源去初始化。

2.根據(jù)權(quán)利要求1所述的基于AI芯片的多模型并行推理方法，其特征在于，所述步驟一通過(guò)以下子步驟來(lái)實(shí)現(xiàn)：

步驟1.1，使用ATC配套的開(kāi)發(fā)工具M(jìn)indStudio的模型轉(zhuǎn)換功能對(duì)模型進(jìn)行轉(zhuǎn)換；

步驟1.2，如果原始模型是基于Tensorflow框架訓(xùn)練的，則需要提供對(duì)應(yīng)pb模型文件；

步驟1.3，如果原始模型是基于Caffe框架訓(xùn)練的，則需要提供對(duì)應(yīng)prototxt模型文件及對(duì)應(yīng)的caffemodel權(quán)重文件；

步驟1.4，轉(zhuǎn)換過(guò)程可以設(shè)置AIPP，對(duì)圖像做進(jìn)一步處理，包括改變圖像尺寸、色域轉(zhuǎn)換、減均值/乘系數(shù)。

3.根據(jù)權(quán)利要求1所述的基于AI芯片的多模型并行推理方法，其特征在于：

所述步驟一中，將其他AI框架模型轉(zhuǎn)換為OM模型。

4.根據(jù)權(quán)利要求1所述的基于AI芯片的多模型并行推理方法，其特征在于：

所述步驟二中，基于加載模型后生成的模型ID和預(yù)處理后的圖像幀數(shù)據(jù)調(diào)用ACL推理接口執(zhí)行推理。

5.根據(jù)權(quán)利要求1所述的基于AI芯片的多模型并行推理方法，其特征在于：

所述步驟2.4.7中，為OM模型卸載。

6.根據(jù)權(quán)利要求1所述的基于AI芯片的多模型并行推理方法，其特征在于：

所述步驟二中，對(duì)分辨率為1920*1080一幀圖像，執(zhí)行多模型并行推理，并進(jìn)行性能表現(xiàn)分析。

7.根據(jù)權(quán)利要求6所述的基于AI芯片的多模型并行推理方法，其特征在于，所述多模型包括：目標(biāo)檢測(cè)模型、人臉識(shí)別模型、圖像上色模型、圖像分類(lèi)模型。

8.根據(jù)權(quán)利要求6所述的基于AI芯片的多模型并行推理方法，其特征在于，所述性能表現(xiàn)分析包括：模型推理各個(gè)階段耗時(shí)信息和AI Core性能數(shù)據(jù)信息。

9.根據(jù)權(quán)利要求2所述的基于AI芯片的多模型并行推理方法，其特征在于：所述AIPP是在AI Core上完成，在時(shí)間先后上來(lái)看，預(yù)處理在前，AIPP在后。

10.根據(jù)權(quán)利要求1所述的基于AI芯片的多模型并行推理方法，其特征在于：所述AI芯片為華為Ascend 310芯片。