[發(fā)明專利]量化神經(jīng)網(wǎng)絡(luò)模型的片內(nèi)執(zhí)行方法、裝置、設(shè)備及介質(zhì)

在審

• 申請?zhí)枺?/td>: 202211216879.4
• 申請日: 2022-09-30
• 公開（公告）號: CN115409161A
• 公開（公告）日: 2022-11-29
• 發(fā)明（設(shè)計）人: 朱姍;孫誠程
• 申請（專利權(quán)）人: 上海燧原科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 蔡舒野

本發(fā)明公開了量化神經(jīng)網(wǎng)絡(luò)模型的片內(nèi)執(zhí)行方法、裝置、設(shè)備及介質(zhì)。該方法包括：獲取與待加載至目標(biāo)AI加速芯片中的量化神經(jīng)網(wǎng)絡(luò)模型匹配的原始算子圖；根據(jù)目標(biāo)AI加速芯片的計算單元特征和/或指令集特征重構(gòu)原始算子圖得到第一算子圖；在第一算子圖的第二量化敏感節(jié)點集合中確定目標(biāo)節(jié)點并替換為分支網(wǎng)絡(luò)；將第一算子圖中第一量化敏感節(jié)點集合的計算節(jié)點替換為非量化節(jié)點；根據(jù)目標(biāo)AI加速芯片的存儲層級特征重構(gòu)第一算子圖得到第二算子圖；再訓(xùn)練與第二算子圖對應(yīng)的原始量化重構(gòu)模型，并加載至目標(biāo)AI加速芯片內(nèi)執(zhí)行。通過本發(fā)明的技術(shù)方案，能夠在提高量化神經(jīng)網(wǎng)絡(luò)模型精度的基礎(chǔ)上，將AI加速芯片的計算性能發(fā)揮到最優(yōu)。

技術(shù)領(lǐng)域

本發(fā)明涉及神經(jīng)網(wǎng)絡(luò)模型的片內(nèi)執(zhí)行領(lǐng)域，尤其涉及量化神經(jīng)網(wǎng)絡(luò)模型的片內(nèi)執(zhí)行方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)

隨著神經(jīng)網(wǎng)絡(luò)模型技術(shù)領(lǐng)域的逐漸發(fā)展，對神經(jīng)網(wǎng)絡(luò)模型的壓縮部署及計算加速度有著更高的要求。

現(xiàn)有技術(shù)中，為了有效減少AI(人工智能，Artificial Intelligence)加速芯片的存儲數(shù)據(jù)量，提升AI加速芯片的運行性能，通常采用低比特模型量化的方式對神經(jīng)網(wǎng)絡(luò)模型進行壓縮后，再部署在AI加速芯片上。然而，采用低比特量化模型的方式會在模型實際部署的過程中帶來精度下降的問題，同時，現(xiàn)有的量化部署方式一般均采用靜態(tài)的量化部署方式，沒有實際考慮AI加速芯片的實際的硬件特點。因此，如何有效地解決低比特量化模型部署的神經(jīng)網(wǎng)絡(luò)模型精度下降的問題，以及如何在神經(jīng)網(wǎng)絡(luò)模型量化部署后，充分發(fā)揮AI加速芯片的計算性能，是目前亟待解決的問題。

發(fā)明內(nèi)容

本發(fā)明實施例提供了一種量化神經(jīng)網(wǎng)絡(luò)模型的片內(nèi)執(zhí)行方法、裝置、設(shè)備及介質(zhì)，以實現(xiàn)在提高量化神經(jīng)網(wǎng)絡(luò)模型精度的同時，實現(xiàn)量化神經(jīng)網(wǎng)絡(luò)模型與所部署AI加速芯片間的精準(zhǔn)適配。

根據(jù)本發(fā)明的一方面，提供了一種量化神經(jīng)網(wǎng)絡(luò)模型的片內(nèi)執(zhí)行方法，包括：

獲取與待加載至目標(biāo)AI加速芯片中的量化神經(jīng)網(wǎng)絡(luò)模型匹配的原始算子圖，其中，量化神經(jīng)網(wǎng)絡(luò)模型通過對目標(biāo)神經(jīng)網(wǎng)絡(luò)模型進行后訓(xùn)練量化得到；

根據(jù)目標(biāo)AI加速芯片中的計算單元特征和/或指令集特征，對原始計算算子圖進行一次重構(gòu)，得到第一算子圖；

在第一算子圖中的各計算節(jié)點中，識別第一量化敏感節(jié)點集合和第二量化敏感節(jié)點集合，并在第二量化敏感節(jié)點集合中確定設(shè)定數(shù)量的目標(biāo)節(jié)點；其中，第一量化敏感節(jié)點的量化敏感度高于第二量化敏感節(jié)點；

在第一算子圖中，將第一量化敏感節(jié)點集合中的各計算節(jié)點替換為非量化節(jié)點，并將各目標(biāo)節(jié)點使用分支網(wǎng)絡(luò)進行替換，其中，分支網(wǎng)絡(luò)中包括與所替換節(jié)點結(jié)構(gòu)相同的多個分支節(jié)點，用于加權(quán)擬合所替換節(jié)點的計算結(jié)果；

根據(jù)目標(biāo)AI加速芯片的存儲層級特征，對第一算子圖進行二次重構(gòu)，得到第二算子圖；

對與第二算子圖對應(yīng)的原始量化重構(gòu)模型進行再訓(xùn)練，得到目標(biāo)量化重構(gòu)模型，并將目標(biāo)量化重構(gòu)模型加載至目標(biāo)AI加速芯片內(nèi)進行執(zhí)行。

根據(jù)本發(fā)明的另一方面，提供了一種量化神經(jīng)網(wǎng)絡(luò)模型的片內(nèi)執(zhí)行裝置，該裝置包括：

原始算子圖獲取模塊，用于獲取與待加載至目標(biāo)AI加速芯片中的量化神經(jīng)網(wǎng)絡(luò)模型匹配的原始算子圖，其中，量化神經(jīng)網(wǎng)絡(luò)模型通過對目標(biāo)神經(jīng)網(wǎng)絡(luò)模型進行后訓(xùn)練量化得到；

第一算子圖重構(gòu)模塊，用于根據(jù)目標(biāo)AI加速芯片中的計算單元特征和/或指令集特征，對原始算子圖進行一次重構(gòu)，得到第一算子圖；

敏感節(jié)點識別模塊，用于在第一算子圖中的各計算節(jié)點中，識別第一量化敏感節(jié)點集合和第二量化敏感節(jié)點集合，并在第二量化敏感節(jié)點集合中確定設(shè)定數(shù)量的目標(biāo)節(jié)點；其中，第一量化敏感節(jié)點的量化敏感度高于第二量化敏感節(jié)點；