[發(fā)明專利]多處理器并行神經(jīng)網(wǎng)絡(luò)加速方法、裝置、設(shè)備和存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110226972.2
• 申請(qǐng)日: 2021-03-01
• 公開(kāi)（公告）號(hào): CN112884127A
• 公開(kāi)（公告）日: 2021-06-01
• 發(fā)明（設(shè)計(jì)）人: 陳志杰;方夏章;李躍文
• 申請(qǐng)（專利權(quán)）人: 廈門美圖之家科技有限公司
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/063
• 代理公司: 北京清大紫荊知識(shí)產(chǎn)權(quán)代理有限公司 11718
• 代理人: 黃貞君;張卓

1.一種多處理器并行神經(jīng)網(wǎng)絡(luò)加速方法，其特征在于，包括：

獲取所述多處理器中各處理器運(yùn)行神經(jīng)網(wǎng)絡(luò)的理論運(yùn)算過(guò)程，所述多處理器包含多種不同類型的處理器；

統(tǒng)計(jì)整個(gè)神經(jīng)網(wǎng)絡(luò)中每一層層結(jié)構(gòu)的計(jì)算量；

基于所述神經(jīng)網(wǎng)絡(luò)的層連接關(guān)系，將所述神經(jīng)網(wǎng)絡(luò)拆分成多個(gè)子網(wǎng)絡(luò)；

根據(jù)所述理論運(yùn)算過(guò)程和所述計(jì)算量將所述子網(wǎng)絡(luò)分配到所述處理器生成多種組合，并紀(jì)錄各組合的處理器運(yùn)行時(shí)間；

篩選出所述處理器運(yùn)行時(shí)間最少的組合，并將所述子網(wǎng)絡(luò)固定分配給所述處理器。

2.根據(jù)權(quán)利要求1所述的多處理器并行神經(jīng)網(wǎng)絡(luò)加速方法，其特征在于，獲取所述多處理器中各處理器運(yùn)行神經(jīng)網(wǎng)絡(luò)的理論運(yùn)算過(guò)程，包括：

獲取所述多處理器中各處理器分別運(yùn)行所述神經(jīng)網(wǎng)絡(luò)的輸入層、卷積層、池化層、全連接層或者神經(jīng)網(wǎng)絡(luò)其他層的理論運(yùn)算過(guò)程。

3.根據(jù)權(quán)利要求1所述的多處理器并行神經(jīng)網(wǎng)絡(luò)加速方法，其特征在于，所述統(tǒng)計(jì)整個(gè)神經(jīng)網(wǎng)絡(luò)中每一層層結(jié)構(gòu)的計(jì)算量，包括：

統(tǒng)計(jì)整個(gè)網(wǎng)絡(luò)中整個(gè)神經(jīng)網(wǎng)絡(luò)中每一層層結(jié)構(gòu)需要的乘法和加法的次數(shù)；

計(jì)算所述次數(shù)對(duì)應(yīng)的計(jì)算量。

4.根據(jù)權(quán)利要求1所述的多處理器并行神經(jīng)網(wǎng)絡(luò)加速方法，其特征在于，所述基于所述神經(jīng)網(wǎng)絡(luò)的層連接關(guān)系，將所述神經(jīng)網(wǎng)絡(luò)拆分成多個(gè)子網(wǎng)絡(luò)，包括：

根據(jù)所述計(jì)算量的數(shù)值，逐層獲取層結(jié)構(gòu)以及與該層結(jié)構(gòu)數(shù)據(jù)處理相關(guān)的關(guān)聯(lián)層；

判斷所述關(guān)聯(lián)層是否與多個(gè)層結(jié)構(gòu)并行關(guān)聯(lián)；

確定判定為否的關(guān)聯(lián)層與相關(guān)的所述層結(jié)構(gòu)屬于一個(gè)子網(wǎng)絡(luò)。

5.根據(jù)權(quán)利要求1所述的多處理器并行神經(jīng)網(wǎng)絡(luò)加速方法，其特征在于，所述根據(jù)所述理論運(yùn)算過(guò)程和所述計(jì)算量將所述子網(wǎng)絡(luò)分配到所述處理器生成多種組合，包括：

根據(jù)所述計(jì)算量確定可運(yùn)行所述子網(wǎng)絡(luò)的所述處理器；

判斷所述子網(wǎng)絡(luò)是否存在可并行運(yùn)行的關(guān)聯(lián)網(wǎng)絡(luò)；

將判定存在可并行運(yùn)行的子網(wǎng)絡(luò)和關(guān)聯(lián)網(wǎng)絡(luò)分配到不同的所述處理器上，生成多種所述子網(wǎng)絡(luò)和所述處理器組合。

6.一種多處理器并行神經(jīng)網(wǎng)絡(luò)加速裝置，其特征在于，所述裝置包括：

獲取模塊，用于獲取所述多處理器中各處理器運(yùn)行神經(jīng)網(wǎng)絡(luò)的理論運(yùn)算過(guò)程，所述多處理器包含多種不同類型的處理器；

計(jì)算量統(tǒng)計(jì)模塊，用于統(tǒng)計(jì)整個(gè)神經(jīng)網(wǎng)絡(luò)中每一層層結(jié)構(gòu)的計(jì)算量；

網(wǎng)絡(luò)拆分模塊，用于基于所述神經(jīng)網(wǎng)絡(luò)的層連接關(guān)系，將所述神經(jīng)網(wǎng)絡(luò)拆分成多個(gè)子網(wǎng)絡(luò)；

分配模塊，用于根據(jù)所述理論運(yùn)算過(guò)程和所述計(jì)算量將所述子網(wǎng)絡(luò)分配到所述處理器生成多種組合，并紀(jì)錄各組合的處理器運(yùn)行時(shí)間；

篩選模塊，用于篩選出所述處理器運(yùn)行時(shí)間最少的組合，并將所述子網(wǎng)絡(luò)固定分配給所述處理器。

7.一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)權(quán)利要求1至5中任一項(xiàng)所述方法的步驟。

8.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至5中任一項(xiàng)所述的方法的步驟。