[發(fā)明專利]一種卷積神經(jīng)網(wǎng)絡(luò)運(yùn)轉(zhuǎn)方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202011107128.X
• 申請(qǐng)日: 2020-10-16
• 公開（公告）號(hào): CN112036552B
• 公開（公告）日: 2022-11-08
• 發(fā)明（設(shè)計(jì)）人: 王萌
• 申請(qǐng)（專利權(quán)）人: 蘇州浪潮智能科技有限公司
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/08
• 代理公司: 北京連和連知識(shí)產(chǎn)權(quán)代理有限公司 11278
• 代理人: 宋薇薇;李紅蕭

1.一種卷積神經(jīng)網(wǎng)絡(luò)運(yùn)轉(zhuǎn)方法，其特征在于，包括基于由圖形處理單元提供的激活值存儲(chǔ)器和臨時(shí)值存儲(chǔ)器而使用多個(gè)卷積模塊來執(zhí)行卷積運(yùn)算，并且在每個(gè)卷積模塊中分別執(zhí)行基于以下步驟的前向運(yùn)算：

從所述激活值存儲(chǔ)器讀取本卷積模塊的第一激活值，在所述臨時(shí)值存儲(chǔ)器中使用第一卷積核卷積所述第一激活值以獲得第二激活值，并覆蓋寫入所述激活值存儲(chǔ)器；

從所述激活值存儲(chǔ)器讀取所述第二激活值，在所述臨時(shí)值存儲(chǔ)器中使用第二卷積核卷積所述第二激活值以獲得第三激活值，并覆蓋寫入所述激活值存儲(chǔ)器；

從所述激活值存儲(chǔ)器讀取所述第三激活值，在所述臨時(shí)值存儲(chǔ)器中使用第三卷積核卷積所述第三激活值以獲得第四激活值，并覆蓋寫入所述激活值存儲(chǔ)器；

從所述激活值存儲(chǔ)器讀取所述第一激活值和所述第四激活值，在所述臨時(shí)值存儲(chǔ)器中基于線性修正而疊加所述第一激活值和所述第四激活值以獲得具有殘差的第五激活值，并覆蓋寫入所述激活值存儲(chǔ)器；

其中，所述激活值存儲(chǔ)器配置為具有足以存儲(chǔ)三個(gè)激活值的顯存空間，所述臨時(shí)值存儲(chǔ)器配置為具有足以存儲(chǔ)一個(gè)激活值的顯存空間，將所述第二激活值、所述第三激活值、所述第四激活值、所述第五激活值覆蓋寫入所述激活值存儲(chǔ)器包括：

將所述第二激活值覆蓋上一卷積模塊的第四激活值寫入所述激活值存儲(chǔ)器；

將所述第三激活值覆蓋所述第二激活值寫入所述激活值存儲(chǔ)器；

將所述第四激活值覆蓋所述第三激活值寫入所述激活值存儲(chǔ)器；

將所述第五激活值覆蓋上一卷積模塊的第一激活值寫入所述激活值存儲(chǔ)器；或者

將所述第二激活值覆蓋上一卷積模塊的第一激活值寫入所述激活值存儲(chǔ)器；

將所述第三激活值覆蓋所述第二激活值寫入所述激活值存儲(chǔ)器；

將所述第四激活值覆蓋所述第三激活值寫入所述激活值存儲(chǔ)器；

將所述第五激活值覆蓋上一卷積模塊的第四激活值寫入所述激活值存儲(chǔ)器。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，從所述激活值存儲(chǔ)器讀取本卷積模塊的第一激活值包括：

從所述激活值存儲(chǔ)器讀取上一卷積模塊的第五激活值作為本卷積模塊的所述第一激活值。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

在將所述第五激活值覆蓋寫入所述激活值存儲(chǔ)器之后，還由下一卷積模塊讀取所述第五激活值作為所述下一卷積模塊的第一激活值。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，每個(gè)卷積模塊具有分別使用所述第一卷積核、所述第二卷積核、和所述第三卷積核來執(zhí)行卷積運(yùn)算的3個(gè)卷積層；卷積神經(jīng)網(wǎng)絡(luò)具有50個(gè)卷積層，包括頭卷積層、尾卷積層、以及處于所述頭卷積層和所述尾卷積層之間的16個(gè)卷積模塊所具有的48個(gè)卷積層。