[發(fā)明專利]支持多粒度稀疏與多模式量化的卷積神經(jīng)網(wǎng)絡(luò)的加速器

有效

• 申請(qǐng)?zhí)枺?/td>: 202010171755.3
• 申請(qǐng)日: 2020-03-12
• 公開(kāi)（公告）號(hào): CN111401554B
• 公開(kāi)（公告）日: 2023-03-24
• 發(fā)明（設(shè)計(jì)）人: 譚展宏
• 申請(qǐng)（專利權(quán)）人: 交叉信息核心技術(shù)研究院（西安）有限公司
• 主分類號(hào): G06N3/082
• 分類號(hào): G06N3/082;G06N3/0464;G06N3/048;G06N3/063
• 代理公司: 北京中巡通大知識(shí)產(chǎn)權(quán)代理有限公司 11703
• 代理人: 李宏德

1.支持多粒度稀疏與多模式量化的卷積神經(jīng)網(wǎng)絡(luò)的加速器，其特征在于，包括主控制器，并行的第一級(jí)激活輸入處理模塊和第一級(jí)權(quán)重處理模塊，并行的第二級(jí)激活輸入處理模塊和第二級(jí)權(quán)重處理模塊，第三級(jí)處理模塊，并行的池化處理模塊和批歸一化處理模塊，以及輸出控制器；

主控制器輸入端經(jīng)配置器連接I/O端口，輸出端輸出圖案數(shù)據(jù)連接第三級(jí)處理模塊輸入端；

第一級(jí)激活輸入處理模塊輸入端經(jīng)輸入控制器接入激活輸入和處理卷積核稀疏的計(jì)算序列；用于根據(jù)處理卷積核稀疏的計(jì)算序列將激活輸入進(jìn)行重排完成一級(jí)處理；

第一級(jí)權(quán)重處理模塊輸入端經(jīng)輸入控制器接入權(quán)重、稀疏圖案編碼、以及批歸一化參數(shù)k和b；用于將輸入的權(quán)重、稀疏圖案編碼、以及批歸一化參數(shù)k和b通過(guò)數(shù)據(jù)分配進(jìn)行分類更新；

第二級(jí)激活輸入處理模塊輸入端接入一級(jí)處理后的激活輸入和更新后的稀疏圖案編碼；用于根據(jù)更新后的稀疏圖案編碼確定對(duì)一級(jí)處理后的激活輸入的接收，將接收的激活輸入輸出到第三級(jí)處理模塊和池化處理模塊；

第二級(jí)權(quán)重處理模塊輸入端接入更新后的權(quán)重，用于將接收的激活輸入對(duì)應(yīng)的權(quán)重進(jìn)行導(dǎo)入，輸出到第三級(jí)處理模塊；并且將更新后的批歸一化參數(shù)k和b輸入到批歸一化處理模塊；

第三級(jí)處理模塊包括若干并行的計(jì)算核；每個(gè)計(jì)算核對(duì)應(yīng)處理一組接收的激活輸入和權(quán)重，將接收的激活輸入根據(jù)權(quán)重的大小進(jìn)行移位和累加處理量化后輸出，然后將計(jì)算核的量化輸出進(jìn)行第一量化處理或第二量化處理后輸入到批歸一化處理模塊；

第一量化處理是用于將27比特的定點(diǎn)計(jì)算結(jié)果轉(zhuǎn)化為8比特定點(diǎn)，用于旁路批歸一化處理直接經(jīng)激活函數(shù)輸出；第二量化處理是將27比特的定點(diǎn)計(jì)算結(jié)果轉(zhuǎn)化為16比特浮點(diǎn)，用于批歸一化處理計(jì)算；

池化處理模塊將接收的激活輸入進(jìn)行池化處理后輸入到輸出控制器；

批歸一化處理模塊根據(jù)更新后的批歸一化參數(shù)k和b，將第三級(jí)處理模塊輸入的數(shù)據(jù)進(jìn)行批歸一化處理，然后進(jìn)行第三量化處理和激活量化函數(shù)激活后輸入到輸出控制器；

第三量化處理是將批歸一化處理的結(jié)果，從16比特浮點(diǎn)轉(zhuǎn)化為8比特定點(diǎn)，然后再進(jìn)行輸出；

輸出控制器的輸出端經(jīng)異步寄存器連接I/O端口。

2.根據(jù)權(quán)利要求1所述的支持多粒度稀疏與多模式量化的卷積神經(jīng)網(wǎng)絡(luò)的加速器，其特征在于，所述的第一級(jí)激活輸入處理模塊包括寫(xiě)控制單元、存儲(chǔ)單元、輸出控制單元、處理卷積核稀疏的計(jì)算序列存儲(chǔ)單元和讀控制單元；

所述的存儲(chǔ)單元包括5個(gè)緩存器組，每個(gè)緩存器組包括5個(gè)RAM；

所述的寫(xiě)控制單元用于將激活輸入存入對(duì)應(yīng)的RAM中；

所述的處理卷積核稀疏的計(jì)算序列存儲(chǔ)單元用于提供卷積核粒度稀疏的計(jì)算序列；

所述的讀控制單元用于根據(jù)處理卷積核稀疏的計(jì)算序列提供的順序從存儲(chǔ)單元中讀取對(duì)應(yīng)的數(shù)據(jù)；

所述的輸出控制單元用于將讀取的數(shù)據(jù)輸出到第二級(jí)激活輸入處理模塊。

3.根據(jù)權(quán)利要求2所述的支持多粒度稀疏與多模式量化的卷積神經(jīng)網(wǎng)絡(luò)的加速器，其特征在于，所述的寫(xiě)控制單元采用狀態(tài)機(jī)控制激活輸入存入對(duì)應(yīng)的RAM中。

4.根據(jù)權(quán)利要求2所述的支持多粒度稀疏與多模式量化的卷積神經(jīng)網(wǎng)絡(luò)的加速器，其特征在于，具體的，第一級(jí)激活輸入處理模塊包括5個(gè)緩存器組，每個(gè)緩存器組包括5個(gè)3072x8大小的RAM；5個(gè)緩存器組對(duì)應(yīng)存儲(chǔ)激活輸入中特征圖數(shù)據(jù)的5行數(shù)據(jù)，緩存器組中的5個(gè)RAM按順序存儲(chǔ)1行中每一個(gè)點(diǎn)的所有激活輸入通道，第一個(gè)RAM存儲(chǔ)第1、6、11、16…個(gè)點(diǎn)的所有輸入通道，第二個(gè)RAM存儲(chǔ)第2、7、12、17…個(gè)點(diǎn)的所有輸入通道，以此類推將所有點(diǎn)對(duì)應(yīng)存入到RAM中；

將5行的激活輸入存入對(duì)應(yīng)的RAM中之后，根據(jù)處理卷積核稀疏的計(jì)算序列提供的順序直接去RAM中讀取，重排的每一拍可讀取出一個(gè)5x5的激活輸入數(shù)據(jù)塊，輸出到第二級(jí)激活輸入處理模塊。

5.根據(jù)權(quán)利要求4所述的支持多粒度稀疏與多模式量化的卷積神經(jīng)網(wǎng)絡(luò)的加速器，其特征在于，第二級(jí)激活輸入處理模塊用于將5x5的激活輸入數(shù)據(jù)塊進(jìn)行廣播給64個(gè)先進(jìn)先出寄存器，該64個(gè)先進(jìn)先出寄存器將存儲(chǔ)的數(shù)據(jù)對(duì)應(yīng)的輸出給第三級(jí)處理模塊的計(jì)算核；當(dāng)64個(gè)先進(jìn)先出寄存器中有一個(gè)不能接收數(shù)據(jù)時(shí)則停止廣播。