[發(fā)明專利]卷積神經(jīng)網(wǎng)絡(luò)加速器

有效

• 申請(qǐng)?zhí)枺?/td>: 202110741346.7
• 申請(qǐng)日: 2021-06-30
• 公開(kāi)（公告）號(hào): CN113361695B
• 公開(kāi)（公告）日: 2023-03-24
• 發(fā)明（設(shè)計(jì)）人: 陳浩敏;郭曉斌;于力;席禹
• 申請(qǐng)（專利權(quán)）人: 南方電網(wǎng)數(shù)字電網(wǎng)研究院有限公司
• 主分類號(hào): G06N3/0464
• 分類號(hào): G06N3/0464;G06N3/063;G06N3/08
• 代理公司: 華進(jìn)聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 周清華

1.一種卷積神經(jīng)網(wǎng)絡(luò)加速器，其特征在于，包括：卷積加速模塊和池化加速模塊；所述卷積加速模塊的并行輸出通道數(shù)與所述池化加速模塊的并行輸入通道數(shù)相等；所述卷積加速模塊包括卷積行緩存單元、卷積滑窗單元、卷積計(jì)算單元、數(shù)據(jù)累加單元和卷積輸出單元；

所述卷積行緩存單元，用于對(duì)具有第一行數(shù)、第一列數(shù)和多輸入通道的待卷積輸入數(shù)據(jù)進(jìn)行讀取，得到具有第二行數(shù)、所述第一列數(shù)和所述多輸入通道的待卷積緩存數(shù)據(jù)，對(duì)所述待卷積緩存數(shù)據(jù)進(jìn)行行緩存；其中，所述第二行數(shù)與卷積核的行數(shù)一致；

所述卷積滑窗單元，用于從所述待卷積緩存數(shù)據(jù)中，提取具有所述第二行數(shù)、第二列數(shù)和所述多輸入通道的待卷積特征數(shù)據(jù)；所述第二列數(shù)與所述卷積核的列數(shù)一致；

所述卷積計(jì)算單元，用于將所述待卷積特征數(shù)據(jù)與預(yù)設(shè)組數(shù)的卷積核進(jìn)行通道對(duì)應(yīng)的卷積計(jì)算，得到所述預(yù)設(shè)組數(shù)的卷積計(jì)算結(jié)果，將所述預(yù)設(shè)組數(shù)的卷積計(jì)算結(jié)果傳輸至數(shù)據(jù)累加單元；其中，每組卷積核所包括的卷積核的數(shù)量與所述輸入通道的數(shù)量一致，所述預(yù)設(shè)組數(shù)與所述卷積加速模塊的并行輸出通道數(shù)一致；

所述數(shù)據(jù)累加單元，用于對(duì)同組的卷積計(jì)算結(jié)果進(jìn)行累加，得到對(duì)應(yīng)于所述待卷積特征數(shù)據(jù)的所述預(yù)設(shè)組數(shù)的卷積輸出數(shù)據(jù)，并將對(duì)應(yīng)于所述待卷積特征數(shù)據(jù)的所述預(yù)設(shè)組數(shù)的卷積輸出數(shù)據(jù)寫(xiě)入所述卷積輸出單元；

所述卷積輸出單元，用于在基于對(duì)應(yīng)于所述待卷積特征數(shù)據(jù)的所述預(yù)設(shè)組數(shù)的卷積輸出數(shù)據(jù)，形成對(duì)應(yīng)于所述待卷積輸入數(shù)據(jù)的所述預(yù)設(shè)組數(shù)的卷積輸出數(shù)據(jù)的情況下，將對(duì)應(yīng)于所述待卷積輸入數(shù)據(jù)的所述預(yù)設(shè)組數(shù)的卷積輸出數(shù)據(jù)輸入至所述池化加速模塊；

所述池化加速模塊，用于對(duì)對(duì)應(yīng)于所述待卷積輸入數(shù)據(jù)的所述預(yù)設(shè)組數(shù)的卷積輸出數(shù)據(jù)進(jìn)行池化處理；

在卷積神經(jīng)網(wǎng)絡(luò)的各網(wǎng)絡(luò)層的輸入數(shù)據(jù)對(duì)應(yīng)于多通道的情況下，各網(wǎng)絡(luò)層的輸入數(shù)據(jù)先被進(jìn)行歸一化處理，映射至特定數(shù)據(jù)區(qū)間，后被進(jìn)行舍棄高位保留低位的溢出處理；所述特定數(shù)據(jù)區(qū)間是根據(jù)定點(diǎn)數(shù)據(jù)的整數(shù)部分位寬和量化因子確定的；所述定點(diǎn)數(shù)據(jù)的位寬和量化因子是對(duì)所述卷積神經(jīng)網(wǎng)絡(luò)中的數(shù)據(jù)進(jìn)行定點(diǎn)化處理并對(duì)定點(diǎn)化處理后的數(shù)據(jù)進(jìn)行誤差統(tǒng)計(jì)確定的。

2.根據(jù)權(quán)利要求1所述的卷積神經(jīng)網(wǎng)絡(luò)加速器，其特征在于，所述池化加速模塊包括池化行緩存單元、池化滑窗單元、池化計(jì)算單元和池化輸出單元；

所述池化行緩存單元，用于對(duì)所述卷積輸出單元輸出的對(duì)應(yīng)于所述待卷積輸入數(shù)據(jù)的所述預(yù)設(shè)組數(shù)的卷積輸出數(shù)據(jù)進(jìn)行讀取，得到具有第三行數(shù)和第三列數(shù)的待池化緩存數(shù)據(jù)，對(duì)所述待池化緩存數(shù)據(jù)進(jìn)行行緩存；其中，所述第三行數(shù)與池化核的行數(shù)一致；

所述池化滑窗單元，用于從所述待池化緩存數(shù)據(jù)匯中提取具有所述第三行數(shù)和第四列數(shù)的待池化特征數(shù)據(jù)；其中，所述第四列數(shù)與所述池化核的列數(shù)一致；

所述池化計(jì)算單元，用于利用池化核對(duì)所述待池化特征數(shù)據(jù)進(jìn)行池化計(jì)算，得到池化計(jì)算結(jié)果；

所述池化輸出單元，用于將所述池化計(jì)算結(jié)果作為池化輸出數(shù)據(jù)進(jìn)行輸出。

3.根據(jù)權(quán)利要求1所述的卷積神經(jīng)網(wǎng)絡(luò)加速器，其特征在于，

所述卷積加速模塊和所述池化加速模塊部署在卷積神經(jīng)網(wǎng)絡(luò)加速器的可編程邏輯部分，所述卷積神經(jīng)網(wǎng)絡(luò)加速器還包括處理系統(tǒng)部分；所述處理系統(tǒng)部分，用于向所述卷積行緩存單元傳輸所述待卷積輸入數(shù)據(jù)；

所述處理系統(tǒng)與所述卷積行緩存單元之間的并行數(shù)據(jù)傳輸通道數(shù)小于所述卷積加速模塊的并行輸入通道數(shù)，且所述并行數(shù)據(jù)傳輸通道數(shù)與所述并行輸入通道數(shù)具有整數(shù)倍關(guān)系。

4.根據(jù)權(quán)利要求1所述的卷積神經(jīng)網(wǎng)絡(luò)加速器，其特征在于，卷積神經(jīng)網(wǎng)絡(luò)的各網(wǎng)絡(luò)層的權(quán)重和偏置被進(jìn)行舍棄高位保留低位的溢出處理；所述各網(wǎng)絡(luò)層的輸出數(shù)據(jù)被進(jìn)行定點(diǎn)數(shù)據(jù)的最大值替代的溢出處理；所述各網(wǎng)絡(luò)層的中間處理數(shù)據(jù)被進(jìn)行位寬擴(kuò)大的溢出處理。

5.根據(jù)權(quán)利要求4所述的卷積神經(jīng)網(wǎng)絡(luò)加速器，其特征在于，所述各網(wǎng)絡(luò)層的權(quán)重和偏置被進(jìn)行舍棄高位保留低位的溢出處理之前，還被進(jìn)行第一預(yù)處理；所述第一預(yù)處理為：用定點(diǎn)數(shù)據(jù)的最大值替代大于定點(diǎn)數(shù)據(jù)范圍的權(quán)重或偏置。