[發(fā)明專利]卷積神經(jīng)網(wǎng)絡(luò)加速器

在審

• 申請?zhí)枺?/td>: 202110849929.1
• 申請日: 2021-07-27
• 公開（公告）號: CN113554163A
• 公開（公告）日: 2021-10-26
• 發(fā)明（設(shè)計(jì)）人: 鄭海生;余蓓;沈小勇;呂江波;賈佳亞
• 申請（專利權(quán)）人: 深圳思謀信息科技有限公司;上海思謀科技有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04;G06N3/08
• 代理公司: 廣州華進(jìn)聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 別亮亮

1.一種卷積神經(jīng)網(wǎng)絡(luò)加速器，其特征在于，包括：對多通道特征圖進(jìn)行并行運(yùn)算的多個(gè)乘加樹以及每一乘加樹后串行連接的縮放操作器和加法器；

所述乘加樹，用于對量化權(quán)重?cái)?shù)據(jù)和對應(yīng)的其中一個(gè)通道的特征圖的量化特征數(shù)據(jù)進(jìn)行乘加運(yùn)算，得到對應(yīng)通道的特征圖的乘加運(yùn)算結(jié)果；

所述縮放操作器，用于對所述對應(yīng)通道的特征圖的乘加運(yùn)算結(jié)果進(jìn)行縮放操作，得到所述對應(yīng)通道的特征圖的縮放運(yùn)算結(jié)果；

所述加法器，用于對所述對應(yīng)通道的特征圖的縮放運(yùn)算結(jié)果進(jìn)行零點(diǎn)調(diào)整；所述加法器輸出的結(jié)果作為量化卷積結(jié)果。

2.根據(jù)權(quán)利要求1所述的卷積神經(jīng)網(wǎng)絡(luò)加速器，其特征在于，所述乘加樹包括設(shè)有第一輸入端口和第二輸入端口的第一乘法器；其中，所述第一輸入端口的輸入數(shù)據(jù)位寬小于所述第二輸入端口的輸入數(shù)據(jù)位寬；

所述第一乘法器，用于通過所述第一輸入端口獲取量化權(quán)重?cái)?shù)據(jù)，通過所述第二輸入端口獲取兩個(gè)量化特征數(shù)據(jù)，利用所述量化權(quán)重?cái)?shù)據(jù)分別對所述兩個(gè)量化特征數(shù)據(jù)進(jìn)行乘法運(yùn)算；所述兩個(gè)量化特征數(shù)據(jù)各自所屬的特征圖對應(yīng)于不同的圖片。

3.根據(jù)權(quán)利要求2所述的卷積神經(jīng)網(wǎng)絡(luò)加速器，其特征在于，所述第二輸入端口的輸入數(shù)據(jù)位寬與所述第二輸入端口包括的輸入子端口數(shù)量一致；

所述第一乘法器，用于通過從所述第二輸入端口包括的首個(gè)輸入子端口起算的預(yù)設(shè)數(shù)量的輸入子端口獲取所述兩個(gè)量化特征數(shù)據(jù)的其中一個(gè)量化特征數(shù)據(jù)，通過從所述第二輸入端口包括的末個(gè)輸入子端口倒推的所述預(yù)設(shè)數(shù)量的輸入子端口獲取所述兩個(gè)量化特征數(shù)據(jù)的另一個(gè)量化特征數(shù)據(jù)；其中，所述預(yù)設(shè)數(shù)量與量化特征數(shù)據(jù)的位寬一致。

4.根據(jù)權(quán)利要求1所述的卷積神經(jīng)網(wǎng)絡(luò)加速器，其特征在于，所述縮放操作器包括第二乘法器和移位器；

所述第二乘法器，用于獲取對浮點(diǎn)型縮放值放大得到的整型縮放值，對所述乘加運(yùn)算結(jié)果與所述整型縮放值進(jìn)行乘法運(yùn)算，將得到的乘法運(yùn)算結(jié)果發(fā)給所述移位器；

所述移位器，用于獲取從所述浮點(diǎn)型縮放值放大至所述整型縮放值的放大比例，對所述乘法運(yùn)算結(jié)果與所述放大比例進(jìn)行除法運(yùn)算。

5.根據(jù)權(quán)利要求4所述的卷積神經(jīng)網(wǎng)絡(luò)加速器，其特征在于，

所述整型縮放值的形成方式為：若所述浮點(diǎn)型縮放值在第一數(shù)值范圍內(nèi)，則對所述浮點(diǎn)型縮放值進(jìn)行兩倍循環(huán)放大，直至兩倍循環(huán)放大后的浮點(diǎn)型縮放值在第二數(shù)值范圍內(nèi)；按照所述第二乘法器的計(jì)算位寬對兩倍循環(huán)放大后的浮點(diǎn)型縮放值進(jìn)行放大，將對放大結(jié)果進(jìn)行取整得到的結(jié)果作為所述整型縮放值；

其中，落在所述第一數(shù)值范圍內(nèi)的數(shù)值被取整時(shí)，取整得到的結(jié)果小于所述數(shù)值；落在所述第二數(shù)值范圍內(nèi)的數(shù)值被取整時(shí)，取整得到的結(jié)果大于所述數(shù)值。

6.根據(jù)權(quán)利要求5所述的卷積神經(jīng)網(wǎng)絡(luò)加速器，其特征在于，所述整型縮放值的形成方式進(jìn)一步為：以所述第二乘法器的計(jì)算位寬作為冪值并以2作為底數(shù)進(jìn)行冪運(yùn)算，利用冪運(yùn)算結(jié)果對兩倍循環(huán)放大后的浮點(diǎn)型縮放值進(jìn)行放大。

7.根據(jù)權(quán)利要求6所述的卷積神經(jīng)網(wǎng)絡(luò)加速器，其特征在于，所述放大比例為2的n次方；n為所述第二乘法器的計(jì)算位寬和所述兩倍循環(huán)放大的次數(shù)之和。

8.根據(jù)權(quán)利要求4所述的卷積神經(jīng)網(wǎng)絡(luò)加速器，其特征在于，

所述移位器，還用于基于所述乘法運(yùn)算結(jié)果的二進(jìn)制和所述放大比例的二進(jìn)制，對所述乘法運(yùn)算結(jié)果的二進(jìn)制進(jìn)行移位操作，得到移位運(yùn)算結(jié)果；

所述移位器，還用于對所述乘法運(yùn)算結(jié)果的二進(jìn)制和所述放大比例的二進(jìn)制進(jìn)行異或運(yùn)算，基于異或運(yùn)算結(jié)果和所述移位運(yùn)算結(jié)果，確定縮放運(yùn)算結(jié)果。

9.根據(jù)權(quán)利要求8所述的卷積神經(jīng)網(wǎng)絡(luò)加速器，其特征在于，

所述移位器，還用于若所述異或運(yùn)算結(jié)果大于所述放大比例的一半，則將對所述移位運(yùn)算結(jié)果加1得到的結(jié)果作為縮放運(yùn)算結(jié)果；

所述移位器，還用于所述異或運(yùn)算結(jié)果小于或等于所述放大比例的一半，則將所述移位運(yùn)算結(jié)果作為縮放運(yùn)算結(jié)果。

10.根據(jù)權(quán)利要求1所述的卷積神經(jīng)網(wǎng)絡(luò)加速器，其特征在于，所述卷積神經(jīng)網(wǎng)絡(luò)加速器，包括：與計(jì)算通路結(jié)合的片上緩存，用于存儲所述計(jì)算通路在推斷過程形成的中間特征圖。