[發(fā)明專利]針對神經(jīng)網(wǎng)絡(luò)的卷積層與全連接層進行加速的電路結(jié)構(gòu)

有效

• 申請?zhí)枺?/td>: 201810120895.0
• 申請日: 2018-02-07
• 公開（公告）號: CN108416434B
• 公開（公告）日: 2021-06-04
• 發(fā)明（設(shè)計）人: 韓軍;蔡宇杰;曾曉洋
• 申請（專利權(quán)）人: 復旦大學
• 主分類號: G06N3/063
• 分類號: G06N3/063
• 代理公司: 上海正旦專利代理有限公司 31200
• 代理人: 陸飛;陸尤

本發(fā)明屬于集成電路設(shè)計技術(shù)領(lǐng)域，具體為一種可同時加速卷積層與全連接層的電路結(jié)構(gòu)。本發(fā)明電路結(jié)構(gòu)包括五部分：用于數(shù)據(jù)讀取的特征/權(quán)重預取模塊、用于提升數(shù)據(jù)復用率的局部緩存、用于實現(xiàn)矩陣乘法的矩陣運算單元、用于累加臨時輸出結(jié)果的臨時數(shù)據(jù)累加模塊以及負責數(shù)據(jù)回寫的輸出控制模塊。該電路使用特殊的映射方法，將卷積層的運算以及全連接層的運算映射到一個固定大小的矩陣運算單元上。該電路對特征以及權(quán)重的內(nèi)存排布方式進行調(diào)整，從而極大地提高了電路的訪存效率。同時，電路模塊的調(diào)度采用流水線的機制，使每個時鐘周期所有的硬件單元都處于工作狀態(tài)，提高了硬件單元使用率，從而提高了電路的工作效率。

技術(shù)領(lǐng)域

本發(fā)明屬于集成電路設(shè)計技術(shù)領(lǐng)域，具體涉及一種針對神經(jīng)網(wǎng)絡(luò)的卷積層與全連接層進行加速的電路結(jié)構(gòu)。

背景技術(shù)

上世紀60年代，Hubel等人通過對貓視覺皮層細胞的研究，提出了感受野這個概念，到80年代，F(xiàn)ukushima在感受野概念的基礎(chǔ)之上提出了神經(jīng)認知機的概念，可以看作是卷積神經(jīng)網(wǎng)絡(luò)的第一個實現(xiàn)網(wǎng)絡(luò)，神經(jīng)認知機將一個視覺模式分解成許多子模式（特征），然后進入分層遞階式相連的特征平面進行處理，它試圖將視覺系統(tǒng)模型化，使其能夠在即使物體有位移或輕微變形的時候，也能完成識別。

卷積神經(jīng)網(wǎng)絡(luò)是多層感知機的變種。由生物學家休博爾和維瑟爾在早期關(guān)于貓視覺皮層的研究發(fā)展而來。視覺皮層的細胞存在一個復雜的構(gòu)造。這些細胞對視覺輸入空間的子區(qū)域非常敏感，我們稱之為感受野，以這種方式平鋪覆蓋到整個視野區(qū)域。這些細胞可以分為兩種基本類型，簡單細胞和復雜細胞。簡單細胞最大程度響應來自感受野范圍內(nèi)的邊緣刺激模式。復雜細胞有更大的接受域，它對來自確切位置的刺激具有局部不變性。卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)包括：卷積層，降采樣層，全連接層。每一層有多個特征圖，每個特征圖通過一種卷積濾波器提取輸入的一種特征，每個特征圖有多個神經(jīng)元。

卷積神經(jīng)網(wǎng)絡(luò)由于其巨大的計算量，現(xiàn)在很難在移動終端上進行本地運算，而大多通過云計算的方式得以實現(xiàn)。而卷積神經(jīng)網(wǎng)絡(luò)超過百分之九十的運算量都在于卷積層以及全連接層的計算上，通常人們?yōu)檫@兩種運算分別設(shè)計一個單獨的加速電路，從而引入了多余的芯片面積。

本發(fā)明提出了一種可同時加速卷積層與全連接層的電路結(jié)構(gòu)，通過對于神經(jīng)網(wǎng)絡(luò)每一層的特征與權(quán)重進行重新排序的方法，使其均可映射到同一個矩陣運算單元（乘法器與加法器的陣列）上。從而提高了硬件的復用效率，減少芯片面積，這也意味著電路在單位面積下可以獲得更高的運算吞吐率。

發(fā)明內(nèi)容

本發(fā)明的目的在于針對神經(jīng)網(wǎng)絡(luò)的卷積層與全連接層的運算加速，提供一種可同時加速卷積層與全連接層的電路結(jié)構(gòu)，以提高硬件復用效率，減少芯片面積。

本發(fā)明提供的針對神經(jīng)網(wǎng)絡(luò)的卷積層與全連接層進行加速的電路結(jié)構(gòu)，通過將運算展開的方法使卷積層與全連接層均可映射到同一個矩陣運算單元上；并通過對神經(jīng)網(wǎng)絡(luò)每一層的特征與權(quán)重進行重新排序的方法，來減少因為展開后特征、權(quán)重讀取地址的不連續(xù)而帶來的訪存性能損失。

本發(fā)明提供的電路結(jié)構(gòu)，包括特征/權(quán)重預取模塊、局部緩存、矩陣運算單元、臨時數(shù)據(jù)累加模塊以及輸出控制模塊；其中：

所述特征/權(quán)重預取模塊，用于從外部存儲器（DRAM）中將新的特征以及權(quán)重數(shù)據(jù)取出并放入局部緩存中，同時替換舊的、不再使用的數(shù)據(jù)。除神經(jīng)網(wǎng)絡(luò)的第一層特征外，其余的所有特征、權(quán)重均按一定方式進行重新排布過的，而第一層特征也是按照一定方式進行重新排布過的，這由軟件實現(xiàn)；因此特征/權(quán)重預取模塊不需要實現(xiàn)重新排布的功能；

所述局部緩，存用于緩存矩陣運算單元所需的輸入數(shù)據(jù)。無論是卷積層還是全連接層，其運算中都存在著大量的數(shù)據(jù)復用，因此，局部緩存存儲這些可以被復用的數(shù)據(jù)，減少對外部存儲器的訪問量；

所述矩陣運算單元，是一乘法器與加法器的陣列，用于實現(xiàn)矩陣的運算。在對特征與權(quán)重進行重新排列后，卷積層與全連接層的運算均映射為一系列的矩陣運算，這些矩陣運算通過多次調(diào)用矩陣運算模塊來實現(xiàn)；