[發(fā)明專利]多處理器并行神經(jīng)網(wǎng)絡(luò)加速方法、裝置、設(shè)備和存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110226972.2
• 申請日: 2021-03-01
• 公開（公告）號: CN112884127A
• 公開（公告）日: 2021-06-01
• 發(fā)明（設(shè)計）人: 陳志杰;方夏章;李躍文
• 申請（專利權(quán)）人: 廈門美圖之家科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063
• 代理公司: 北京清大紫荊知識產(chǎn)權(quán)代理有限公司 11718
• 代理人: 黃貞君;張卓

本發(fā)明提供了一種多處理器并行神經(jīng)網(wǎng)絡(luò)加速方法、裝置、計算機(jī)設(shè)備和存儲介質(zhì)，屬于神經(jīng)網(wǎng)絡(luò)處理領(lǐng)域，具體包括獲取所述多處理器中各處理器運(yùn)行神經(jīng)網(wǎng)絡(luò)的理論運(yùn)算過程，所述多處理器包含多種不同類型的處理器；統(tǒng)計整個神經(jīng)網(wǎng)絡(luò)中每一層層結(jié)構(gòu)的計算量；基于所述神經(jīng)網(wǎng)絡(luò)的層連接關(guān)系，將所述神經(jīng)網(wǎng)絡(luò)拆分成多個子網(wǎng)絡(luò)；根據(jù)所述理論運(yùn)算過程和所述計算量將所述子網(wǎng)絡(luò)分配到所述處理器生成多種組合，并紀(jì)錄各組合的處理器運(yùn)行時間；篩選出所述處理器運(yùn)行時間最少的組合，并將所述子網(wǎng)絡(luò)固定分配給所述處理器。通過本申請的處理方案，不受第三方框架的限制，能夠快速的實現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)的部署。

技術(shù)領(lǐng)域

本發(fā)明涉及神經(jīng)網(wǎng)絡(luò)處理領(lǐng)域，具體涉及一種多處理器并行神經(jīng)網(wǎng)絡(luò)加速方法、裝置、計算機(jī)設(shè)備和存儲介質(zhì)。

背景技術(shù)

目前人工智能的發(fā)展已經(jīng)很多年，越來越多的機(jī)器上部署有人工智能，其中卷積神經(jīng)網(wǎng)絡(luò)是較為常用的，且在圖像視覺上有很廣的應(yīng)用。為了實現(xiàn)各器件神經(jīng)網(wǎng)絡(luò)的快速安裝，一般需要在高性能機(jī)器上訓(xùn)練模型，再在移動端(手機(jī)上，嵌入式系統(tǒng)上)進(jìn)行部署。一般設(shè)定手機(jī)上運(yùn)行是神經(jīng)網(wǎng)絡(luò)的計算。隨著現(xiàn)在需求的升高，很多卷積神經(jīng)網(wǎng)絡(luò)越來越復(fù)雜。神經(jīng)網(wǎng)絡(luò)越大，計算量就越大，推理的計算時間就越長，在移動端，計算能力有限，以及電池容量的限制，一些大的神經(jīng)網(wǎng)絡(luò)，整個計算過程要很長，有些甚至需要幾分鐘或者更多的時間。如果把網(wǎng)絡(luò)變小，很多功能無法很好的實現(xiàn)。因此受手機(jī)處理器計算能力的限制和卷積神經(jīng)網(wǎng)絡(luò)需要巨大計算，很多場景下都使用GPU來進(jìn)行推理計算的加速，同時很多處理器廠家對手機(jī)處理器增加了DSP、NPU、APU等用來提高神經(jīng)網(wǎng)絡(luò)計算的協(xié)作處理器。如何使用處理器上這些來對神經(jīng)網(wǎng)絡(luò)的加速成了各應(yīng)用程序需要解決的問題。

發(fā)明內(nèi)容

因此，為了克服上述現(xiàn)有技術(shù)的缺點，本發(fā)明涉提供了一種不受第三方框架的限制，能夠快速的實現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)的部署的多處理器并行神經(jīng)網(wǎng)絡(luò)加速方法、裝置、計算機(jī)設(shè)備和存儲介質(zhì)。

為了實現(xiàn)上述目的，本發(fā)明提供一種多處理器并行神經(jīng)網(wǎng)絡(luò)加速方法，包括：獲取所述多處理器中各處理器運(yùn)行神經(jīng)網(wǎng)絡(luò)的理論運(yùn)算過程，所述多處理器包含多種不同類型的處理器；統(tǒng)計整個神經(jīng)網(wǎng)絡(luò)中每一層層結(jié)構(gòu)的計算量；基于所述神經(jīng)網(wǎng)絡(luò)的層連接關(guān)系，將所述神經(jīng)網(wǎng)絡(luò)拆分成多個子網(wǎng)絡(luò)；根據(jù)所述理論運(yùn)算過程和所述計算量將所述子網(wǎng)絡(luò)分配到所述處理器生成多種組合，并紀(jì)錄各組合的處理器運(yùn)行時間；篩選出所述處理器運(yùn)行時間最少的組合，并將所述子網(wǎng)絡(luò)固定分配給所述處理器。

在其中一個實施例中，獲取所述多處理器中各處理器運(yùn)行神經(jīng)網(wǎng)絡(luò)的理論運(yùn)算過程，包括：獲取所述多處理器中各處理器分別運(yùn)行所述神經(jīng)網(wǎng)絡(luò)的輸入層、卷積層、池化層、全連接層或者神經(jīng)網(wǎng)絡(luò)其他層的理論運(yùn)算過程。

在其中一個實施例中，所述統(tǒng)計整個神經(jīng)網(wǎng)絡(luò)中每一層層結(jié)構(gòu)的計算量，包括：統(tǒng)計整個網(wǎng)絡(luò)中整個神經(jīng)網(wǎng)絡(luò)中每一層層結(jié)構(gòu)需要的乘法和加法的次數(shù)；計算所述次數(shù)對應(yīng)的計算量。

在其中一個實施例中，所述基于所述神經(jīng)網(wǎng)絡(luò)的層連接關(guān)系，將所述神經(jīng)網(wǎng)絡(luò)拆分成多個子網(wǎng)絡(luò)，包括：根據(jù)所述計算量的數(shù)值，逐層獲取層結(jié)構(gòu)以及與該層結(jié)構(gòu)數(shù)據(jù)處理相關(guān)的關(guān)聯(lián)層；判斷所述關(guān)聯(lián)層是否與多個層結(jié)構(gòu)并行關(guān)聯(lián)；確定判定為否的關(guān)聯(lián)層與相關(guān)的所述層結(jié)構(gòu)屬于一個子網(wǎng)絡(luò)。

在其中一個實施例中，所述根據(jù)所述理論運(yùn)算過程和所述計算量將所述子網(wǎng)絡(luò)分配到所述處理器生成多種組合，包括：根據(jù)所述計算量確定可運(yùn)行所述子網(wǎng)絡(luò)的所述處理器；判斷所述子網(wǎng)絡(luò)是否存在可并行運(yùn)行的關(guān)聯(lián)網(wǎng)絡(luò)；將判定存在可并行運(yùn)行的子網(wǎng)絡(luò)和關(guān)聯(lián)網(wǎng)絡(luò)分配到不同的所述處理器上，生成多種所述子網(wǎng)絡(luò)和所述處理器組合。