[發(fā)明專利]一種卷積神經(jīng)網(wǎng)絡(luò)在FPGA上的實(shí)現(xiàn)方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201711318756.0
• 申請(qǐng)日: 2017-12-12
• 公開（公告）號(hào): CN107992940A
• 公開（公告）日: 2018-05-04
• 發(fā)明（設(shè)計(jì)）人: 景璐
• 申請(qǐng)（專利權(quán)）人: 鄭州云海信息技術(shù)有限公司
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/063
• 代理公司: 北京安信方達(dá)知識(shí)產(chǎn)權(quán)代理有限公司11262
• 代理人: 李紅爽,李丹

1.一種卷積神經(jīng)網(wǎng)絡(luò)在FPGA上的實(shí)現(xiàn)方法，其特征在于，包括以下步驟：

壓縮神經(jīng)網(wǎng)絡(luò)模型，并將壓縮后的神經(jīng)網(wǎng)絡(luò)模型存儲(chǔ)于FPGA存儲(chǔ)器中；

所述神經(jīng)網(wǎng)絡(luò)模型中神經(jīng)網(wǎng)絡(luò)單層包括多個(gè)計(jì)算單元，在FPGA上并行實(shí)現(xiàn)，各個(gè)所述計(jì)算單元之間通過channel進(jìn)行數(shù)據(jù)交互。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述多個(gè)計(jì)算單元包括：圖片數(shù)據(jù)讀取單元、模型數(shù)據(jù)讀取單元、控制器單元、特征圖數(shù)據(jù)存儲(chǔ)單元、PE單元、激活單元BatchNorm計(jì)算單元、池化單元、輸出單元。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述特征圖數(shù)據(jù)存儲(chǔ)單元接收所述控制器單元發(fā)送的控制信號(hào)；

接收所述圖片數(shù)據(jù)讀取單元發(fā)送的數(shù)據(jù)，并根據(jù)所述控制信號(hào)中的寫地址，將所述圖片數(shù)據(jù)寫入FPGA上數(shù)據(jù)緩存的特定地址；

接收所述模型數(shù)據(jù)讀取單元讀取的模型數(shù)據(jù)；

根據(jù)所述控制器單元發(fā)送的控制信號(hào)中的讀數(shù)據(jù)地址讀取當(dāng)前時(shí)鐘周期PE單元計(jì)算需要的圖片數(shù)據(jù)，并對(duì)該圖片數(shù)據(jù)進(jìn)行Winograd轉(zhuǎn)換；

將經(jīng)過轉(zhuǎn)換的圖片數(shù)據(jù)、所述模型數(shù)據(jù)和控制信號(hào)發(fā)送至所述PE單元，使其進(jìn)行卷積計(jì)算。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述PE單元接收來自所述特征圖數(shù)據(jù)存儲(chǔ)單元的數(shù)據(jù)和控制信號(hào)，進(jìn)行點(diǎn)積計(jì)算，并對(duì)點(diǎn)積結(jié)果進(jìn)行累加；

所述激活單元接收來自所述PE單元的點(diǎn)積計(jì)算結(jié)果，對(duì)所述點(diǎn)積計(jì)算結(jié)果進(jìn)行Winograd轉(zhuǎn)換，然后進(jìn)行激活操作，輸出計(jì)算結(jié)果；

所述BatchNorm計(jì)算單元接收來自所述激活單元的計(jì)算數(shù)據(jù)，進(jìn)行BatchNorm計(jì)算，輸出計(jì)算結(jié)果；

所述池化單元讀取來自所述BatchNorm單元的計(jì)算數(shù)據(jù)，以流水線的方式依次處理每組輸出特征圖的池化操作；

所述輸出單元輸出最終的處理結(jié)果到外部存儲(chǔ)器。

5.根據(jù)權(quán)利要求1至4中任一項(xiàng)所述的方法，其特征在于，支持多種開源架構(gòu)的模型輸入，包括TensorFlow、Caffe、MxNet。

6.一種卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)裝置，其特征在于，包括：

壓縮模塊，用于壓縮神經(jīng)網(wǎng)絡(luò)模型，并將壓縮后的神經(jīng)網(wǎng)絡(luò)模型存儲(chǔ)于FPGA存儲(chǔ)器中；

FPGA模塊，所述神經(jīng)網(wǎng)絡(luò)模型中神經(jīng)網(wǎng)絡(luò)單層包括多個(gè)計(jì)算單元，在所述FPGA模塊上并行實(shí)現(xiàn)，各個(gè)所述計(jì)算單元之間通過channel進(jìn)行數(shù)據(jù)交。

7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述多個(gè)計(jì)算單元包括：圖片數(shù)據(jù)讀取單元、模型數(shù)據(jù)讀取單元、控制器單元、特征圖數(shù)據(jù)存儲(chǔ)單元、PE單元、激活單元BatchNorm計(jì)算單元、池化單元、輸出單元。

8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述特征圖數(shù)據(jù)存儲(chǔ)單元還用于接收所述控制器單元發(fā)送的控制信號(hào)，接收所述圖片數(shù)據(jù)讀取單元發(fā)送的數(shù)據(jù)，并根據(jù)所述控制信號(hào)中的寫地址，將所述圖片數(shù)據(jù)寫入FPGA上數(shù)據(jù)緩存的特定地址，以及接收所述模型數(shù)據(jù)讀取單元讀取的模型數(shù)據(jù)，根據(jù)所述控制器單元發(fā)送的控制信號(hào)中的讀數(shù)據(jù)地址讀取當(dāng)前時(shí)鐘周期PE單元計(jì)算需要的圖片數(shù)據(jù)，并對(duì)該圖片數(shù)據(jù)進(jìn)行Winograd轉(zhuǎn)換，以及將經(jīng)過轉(zhuǎn)換的圖片數(shù)據(jù)、所述模型數(shù)據(jù)和控制信號(hào)發(fā)送至所述PE單元，使其進(jìn)行卷積計(jì)算。

9.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述PE單元接收來自所述特征圖數(shù)據(jù)存儲(chǔ)單元的數(shù)據(jù)和控制信號(hào)，進(jìn)行點(diǎn)積計(jì)算，并對(duì)點(diǎn)積結(jié)果進(jìn)行累加；

所述激活單元接收來自所述PE單元的點(diǎn)積計(jì)算結(jié)果，對(duì)所述點(diǎn)積計(jì)算結(jié)果進(jìn)行Winograd轉(zhuǎn)換，然后進(jìn)行激活操作，輸出計(jì)算結(jié)果；

所述BatchNorm計(jì)算單元接收來自所述激活單元的計(jì)算數(shù)據(jù)，進(jìn)行BatchNorm計(jì)算，輸出計(jì)算結(jié)果；

所述池化單元讀取來自所述BatchNorm單元的計(jì)算數(shù)據(jù)，以流水線的方式依次處理每組輸出特征圖的池化操作；

所述輸出單元輸出最終的處理結(jié)果到外部存儲(chǔ)器。

10.根據(jù)權(quán)利要求6至9中任一項(xiàng)所述的裝置，其特征在于，支持多種開源架構(gòu)的模型輸入，包括TensorFlow、Caffe、MxNet。