[發(fā)明專利]一種AI芯片的運(yùn)行方式的確定方法和裝置

有效

• 申請?zhí)枺?/td>: 202010462971.3
• 申請日: 2020-05-27
• 公開（公告）號: CN113743598B
• 公開（公告）日: 2023-08-04
• 發(fā)明（設(shè)計(jì)）人: 周智強(qiáng);葉挺群
• 申請（專利權(quán)）人: 杭州海康威視數(shù)字技術(shù)股份有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/0464
• 代理公司: 北京柏杉松知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11413
• 代理人: 項(xiàng)京;馬敬

1.一種人工智能AI芯片的運(yùn)行方式的確定方法，其特征在于，所述方法包括：

獲得目標(biāo)神經(jīng)網(wǎng)絡(luò)模型；

獲得AI芯片支持的運(yùn)行方式的不同組合，其中，每種組合中包括：所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型中的各個(gè)網(wǎng)絡(luò)層的運(yùn)行方式；每個(gè)網(wǎng)絡(luò)層的運(yùn)行方式包括：所述AI芯片中執(zhí)行該網(wǎng)絡(luò)層的算法的計(jì)算單元，和/或，所述AI芯片中的計(jì)算單元執(zhí)行該網(wǎng)絡(luò)層的算法時(shí)采用的數(shù)據(jù)存儲(chǔ)格式；使得所述AI芯片基于所述不同組合，用所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型對第一預(yù)設(shè)測試數(shù)據(jù)進(jìn)行多次處理；

獲得所述AI芯片每次對所述第一預(yù)設(shè)測試數(shù)據(jù)處理完成所用的第一處理時(shí)長；

選擇第一處理時(shí)長最短的組合中包括的運(yùn)行方式，確定為基于所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型對數(shù)據(jù)進(jìn)行處理時(shí)，所述AI芯片的運(yùn)行方式；

所述獲得AI芯片支持的運(yùn)行方式的不同組合，包括：

確定所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型中符合第一預(yù)設(shè)條件的網(wǎng)絡(luò)層，作為第一網(wǎng)絡(luò)層；

獲得所述第一網(wǎng)絡(luò)層支持的運(yùn)行方式的不同子組合；其中，每種子組合中包括：各個(gè)第一網(wǎng)絡(luò)層的運(yùn)行方式；

獲得所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型中的各個(gè)非第一網(wǎng)絡(luò)層的預(yù)設(shè)運(yùn)行方式；

對所述第一網(wǎng)絡(luò)層支持的運(yùn)行方式的不同子組合，和所述各個(gè)非第一網(wǎng)絡(luò)層的預(yù)設(shè)運(yùn)行方式進(jìn)行組合，得到AI芯片支持的運(yùn)行方式的不同組合；

所述確定所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型中符合第一預(yù)設(shè)條件的網(wǎng)絡(luò)層，作為第一網(wǎng)絡(luò)層，包括：

按照網(wǎng)絡(luò)層連接的先后順序，確定所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型中前第二數(shù)目個(gè)網(wǎng)絡(luò)層，作為第二網(wǎng)絡(luò)層；

確定所述第二網(wǎng)絡(luò)層中不符合第二預(yù)設(shè)條件的網(wǎng)絡(luò)層，作為第一網(wǎng)絡(luò)層；

所述獲得所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型中的各個(gè)非第一網(wǎng)絡(luò)層的預(yù)設(shè)運(yùn)行方式，包括：

確定所述第二網(wǎng)絡(luò)層中符合所述第二預(yù)設(shè)條件的卷積層和/或全連接層，作為第三網(wǎng)絡(luò)層；

獲得所述第三網(wǎng)絡(luò)層支持的運(yùn)行方式；使得所述AI芯片基于所述第三網(wǎng)絡(luò)層支持的運(yùn)行方式，用所述第三網(wǎng)絡(luò)層對第二預(yù)設(shè)測試數(shù)據(jù)進(jìn)行多次處理；

獲得所述AI芯片每次對所述第二預(yù)設(shè)測試數(shù)據(jù)處理完成所用的第二處理時(shí)長；

選擇第二處理時(shí)長最短的運(yùn)行方式，確定為所述第三網(wǎng)絡(luò)層的預(yù)設(shè)運(yùn)行方式；

確定所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型中的各個(gè)非第一網(wǎng)絡(luò)層中，除所述第三網(wǎng)絡(luò)層以外的網(wǎng)絡(luò)層的預(yù)設(shè)運(yùn)行方式為指定運(yùn)行方式。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述確定所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型中符合第一預(yù)設(shè)條件的網(wǎng)絡(luò)層，作為第一網(wǎng)絡(luò)層，包括：

按照網(wǎng)絡(luò)層連接的先后順序，確定所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型中前第一數(shù)目個(gè)網(wǎng)絡(luò)層，作為第一網(wǎng)絡(luò)層。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第二預(yù)設(shè)條件包括以下至少之一：

輸入通道個(gè)數(shù)為第三數(shù)目；

卷積核個(gè)數(shù)為第四數(shù)目。

4.根據(jù)權(quán)利要求1-3任一項(xiàng)所述的方法，其特征在于，所述第一網(wǎng)絡(luò)層為卷積層和/或全連接層。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述選擇第一處理時(shí)長最短的組合中包括的運(yùn)行方式，確定為基于所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型對數(shù)據(jù)進(jìn)行處理時(shí)，所述AI芯片的運(yùn)行方式之后，所述方法還包括：

生成網(wǎng)絡(luò)模型文件，以使所述AI芯片按照所述網(wǎng)絡(luò)模型文件對非測試數(shù)據(jù)進(jìn)行處理；其中，所述網(wǎng)絡(luò)模型文件包括所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型，以及，所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型中各個(gè)網(wǎng)絡(luò)層，與所述第一處理時(shí)長最短的組合中包括的運(yùn)行方式的對應(yīng)關(guān)系。