[發(fā)明專利]基于FPGA的時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)加速器結(jié)構(gòu)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210195359.3
• 申請(qǐng)日: 2022-03-01
• 公開(kāi)（公告）號(hào): CN114548391A
• 公開(kāi)（公告）日: 2022-05-27
• 發(fā)明（設(shè)計(jì)）人: 靳超;黃典;馮圣中
• 申請(qǐng)（專利權(quán)）人: 國(guó)家超級(jí)計(jì)算深圳中心（深圳云計(jì)算中心）
• 主分類號(hào): G06N3/063
• 分類號(hào): G06N3/063;G06N3/04;G06N3/08
• 代理公司: 深圳市順天達(dá)專利商標(biāo)代理有限公司 44217
• 代理人: 李琴

1.一種基于FPGA的時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)加速器結(jié)構(gòu)，所述時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)每層輸出的計(jì)算過(guò)程是多種網(wǎng)絡(luò)結(jié)構(gòu)的融合，其特征在于，所述加速器結(jié)構(gòu)包括：

向量加速模塊：內(nèi)部保存有所述融合函數(shù)中的稀疏矩陣，用于執(zhí)行稀疏矩陣相乘或者執(zhí)行逐元素乘加運(yùn)算；

張量加速模塊：可與向量加速模塊并行計(jì)算，內(nèi)部保存有所述融合函數(shù)中的權(quán)重參數(shù)、偏置參數(shù)、激活函數(shù)，用于順次執(zhí)行稠密矩陣相乘、偏置項(xiàng)相加以及不同激活函數(shù)的運(yùn)算；

數(shù)據(jù)流控制模塊：包括存儲(chǔ)所述張量加速模塊和所述向量加速模塊的輸出數(shù)據(jù)的數(shù)據(jù)緩存，用于基于所述數(shù)據(jù)緩存實(shí)現(xiàn)所述張量加速模塊和所述向量加速模塊之間的數(shù)據(jù)流向以便循環(huán)完成計(jì)算；

系統(tǒng)控制模塊：用于控制所述張量加速模塊和向量加速模塊按照設(shè)定的計(jì)算時(shí)序完成與所述計(jì)算時(shí)序?qū)?yīng)的計(jì)算。

2.根據(jù)權(quán)利要求1所述的基于FPGA的時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)加速器結(jié)構(gòu)，其特征在于，所述張量加速模塊包括：

權(quán)重存儲(chǔ)模塊和偏置存儲(chǔ)模塊，用于分別保存所述融合函數(shù)中的權(quán)重參數(shù)、偏置參數(shù)；

由M行N列第一計(jì)算單元構(gòu)成的二維脈動(dòng)矩陣乘法運(yùn)算模塊，用于從所述權(quán)重存儲(chǔ)模塊中獲取權(quán)重參數(shù)構(gòu)成的稠密矩陣，以及從所數(shù)據(jù)流控制模塊的數(shù)據(jù)緩存中獲取稀疏矩陣相乘得到的稠密矩陣，執(zhí)行稠密矩陣相乘運(yùn)算；

偏置相加模塊，與每一行最后一個(gè)所述計(jì)算單元相接，用于將稠密矩陣相乘運(yùn)算的結(jié)果加上從所述偏置存儲(chǔ)模塊中獲取的對(duì)應(yīng)的偏置后輸出；

激活函數(shù)模塊，與偏置相加模塊相接，用于輸出與所述偏置相加模塊輸出的結(jié)果所對(duì)應(yīng)的激活函數(shù)的計(jì)算結(jié)果至所述數(shù)據(jù)流控制模塊的數(shù)據(jù)緩存中。

3.根據(jù)權(quán)利要求2所述的基于FPGA的時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)加速器結(jié)構(gòu)，其特征在于，所述第一計(jì)算單元包括：

第一寄存器和第二寄存器，均是用于將輸入的數(shù)據(jù)緩存一個(gè)時(shí)鐘后輸出，同一行所述第一計(jì)算單元的第一寄存器共享輸入，所述第一寄存器的輸入來(lái)自于所述向量加速模塊之前輸出到所數(shù)據(jù)流控制模塊的數(shù)據(jù)緩存中的數(shù)據(jù)，同一列所述第一計(jì)算單元的第二寄存器共享輸入，所述第二寄存器的輸入來(lái)自于所述權(quán)重存儲(chǔ)模塊；

第一乘法器，其兩個(gè)輸入分別與所述第一寄存器和所述第二寄存器的輸出連接，用于將輸入的兩個(gè)數(shù)據(jù)相乘后輸出；

累加器，與所述第一乘法器的輸出連接，用于將不同時(shí)鐘輸入的數(shù)據(jù)累加；

實(shí)現(xiàn)多路輸入到單路輸出的第一選通器，其第一路輸入連接所述累加器的輸出，每一行所述第一計(jì)算單元對(duì)應(yīng)的一行第一選通器中：后一個(gè)第一選通器的第二路輸入與前一個(gè)第一選通器的輸出連接，第一個(gè)第一選通器的第二路輸入為0，最后一個(gè)第一選通器的輸出連接至所述偏置相加模塊的輸入。

4.根據(jù)權(quán)利要求3所述的基于FPGA的時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)加速器結(jié)構(gòu)，其特征在于，在所述張量加速模塊完成與所述計(jì)算時(shí)序?qū)?yīng)的計(jì)算的過(guò)程中：第一選通器交替工作于計(jì)算階段和輸出階段：在計(jì)算階段，第一選通器選擇第二路輸入的數(shù)據(jù)輸出；在輸出階段，第一選通器首先選擇第一路輸入的數(shù)據(jù)輸出，以把所述累加器的計(jì)算結(jié)果加載到輸出數(shù)據(jù)線上，然后選擇第二路輸入的數(shù)據(jù)輸出，使得各個(gè)累加器的計(jì)算結(jié)果沿輸出數(shù)據(jù)線依次傳遞到所述偏置相加模塊。

5.根據(jù)權(quán)利要求2所述的基于FPGA的時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)加速器結(jié)構(gòu)，其特征在于，所述激活函數(shù)模塊內(nèi)存儲(chǔ)了各種可能的輸入所對(duì)應(yīng)的激活函數(shù)值，所述激活函數(shù)模塊以輸入作為地址直接讀出激活函數(shù)值作為輸出。

6.根據(jù)權(quán)利要求1所述的基于FPGA的時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)加速器結(jié)構(gòu)，其特征在于，所述向量加速模塊包括：

稀疏矩陣存儲(chǔ)模塊，用于保存所述融合函數(shù)中的稀疏矩陣；

由K個(gè)第二計(jì)算單元構(gòu)成的并聯(lián)同構(gòu)計(jì)算模塊，用于從所述稀疏矩陣存儲(chǔ)模塊獲取的稀疏矩陣，從所述數(shù)據(jù)流控制模塊的數(shù)據(jù)緩存中獲取的圖層輸入信息、激活函數(shù)的運(yùn)算結(jié)果、之前通過(guò)逐元素乘加運(yùn)算得到的結(jié)果，執(zhí)行稀疏矩陣相乘或者執(zhí)行逐元素乘加運(yùn)算，并將計(jì)算結(jié)果輸出至所述數(shù)據(jù)流控制模塊的數(shù)據(jù)緩存中。