[發(fā)明專利]一種基于脈動陣列硬件架構(gòu)的深度學(xué)習(xí)卷積運(yùn)算實(shí)現(xiàn)方法

有效

• 申請?zhí)枺?/td>: 202010148579.1
• 申請日: 2020-03-05
• 公開（公告）號: CN111506343B
• 公開（公告）日: 2023-07-07
• 發(fā)明（設(shè)計）人: 雍珊珊;王新安;徐伯星;張興;何春舅
• 申請（專利權(quán)）人: 北京大學(xué)深圳研究生院
• 主分類號: G06F9/30
• 分類號: G06F9/30;G06F13/28;G06N3/0464;G06T1/20;G06T1/60
• 代理公司: 深圳市華優(yōu)知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44319
• 代理人: 余薇

1.一種基于脈動陣列硬件架構(gòu)的深度學(xué)習(xí)卷積運(yùn)算實(shí)現(xiàn)方法，所述脈動陣列硬件架構(gòu)包括網(wǎng)絡(luò)數(shù)據(jù)存儲接口、內(nèi)部存儲器、直接內(nèi)存訪問DMA、圖像寄存器文件、輸入緩存、接口單元、控制器、輸出緩存以及脈動陣列模塊，其特征在于，所述脈動陣列模塊至少包括一行處理單元，所述一行處理單元至少包括一個處理元素，所述處理元素包括卷積SRAM、卷積寄存器文件以及ALU運(yùn)算單元，行處理單元的相鄰所述處理元素之間設(shè)置有數(shù)據(jù)直通通道，所述方法包括：

S1、所述控制器通過接口單元獲取配置指令，并根據(jù)所述配置指令配置所述輸入緩存和所述脈動陣列模塊；

S2、通過所述直接內(nèi)存訪問DMA將所述網(wǎng)絡(luò)數(shù)據(jù)存儲接口獲取的幀圖像數(shù)據(jù)傳輸?shù)剿鰞?nèi)部存儲器；

S3、逐行將存儲于所述內(nèi)部存儲器中的幀圖像數(shù)據(jù)讀入到所述圖像寄存器文件中，并通過廣播的方式將一行圖像數(shù)據(jù)輸入到所述脈動陣列模塊中，所述輸入緩存根據(jù)控制器的配置將卷積核逐行輸入所述脈動陣列模塊中；

S4、在所述脈動陣列模塊中將一行幀圖像數(shù)據(jù)與卷積核進(jìn)行卷積運(yùn)算，直到所述幀圖像的最后一行，然后輸出運(yùn)算結(jié)果到所述輸出緩存中；

所述S4的在所述脈動陣列模塊中將一行幀圖像數(shù)據(jù)與卷積核進(jìn)行卷積運(yùn)算，直到所述幀圖像的最后一行，包括：

在對應(yīng)所述幀圖像數(shù)據(jù)行數(shù)的多個時間周期內(nèi)，脈動啟動各行處理單元的處理元素，并將存儲于所述卷積寄存器文件中的卷積核行輸入到對應(yīng)的處理元素；

在各個時間周期內(nèi)，各處理元素將所述一行幀圖像數(shù)據(jù)與對應(yīng)的卷積核行進(jìn)行卷積運(yùn)算，然后將運(yùn)算結(jié)果通過所述數(shù)據(jù)直通通道輸出到相鄰處理元素或者作為最終結(jié)果輸出到所述輸出緩存，直到最后一個時間周期對應(yīng)的一行幀圖像數(shù)據(jù)。

2.如權(quán)利要求1所述的方法，其特征在于，所述輸入緩存根據(jù)控制器的配置將卷積核逐行輸入所述脈動陣列模塊中包括：

所述輸入緩存根據(jù)卷積核尺寸配置指令將相應(yīng)大小的卷積核數(shù)據(jù)輸入所述卷積SRAM；

卷積SRAM逐行將所述卷積核輸入到所述卷積寄存器文件中。

3.如權(quán)利要求2所述的方法，其特征在于，所述ALU運(yùn)算單元用于將所述幀圖像數(shù)據(jù)和所述卷積核進(jìn)行卷積運(yùn)算。

4.如權(quán)利要求3所述的方法，其特征在于，所述通過廣播的方式將一行幀圖像數(shù)據(jù)輸入到所述脈動陣列模塊中包括：

在一個時間周期內(nèi)，通過圖像寄存器文件將一行幀圖像數(shù)據(jù)輸出到所述脈動陣列模塊的每個處理元素中。

5.如權(quán)利要求4所述的方法，其特征在于，所述脈動陣列模塊的各行處理單元采用脈動啟動方式。

6.如權(quán)利要求1所述的方法，其特征在于，所述ALU運(yùn)算單元包括卷積運(yùn)算單元、多路復(fù)選器、部分和緩存、寄存器單元、加法單元和FIFO緩沖器。