[發明專利]一種面向物聯網領域的動態可重構卷積神經網絡加速器架構

有效

• 申請號: 201811149741.0
• 申請日: 2018-09-29
• 公開（公告）號: CN109447241B
• 公開（公告）日: 2022-02-22
• 發明（設計）人: 楊晨;王逸洲;王小力;耿莉
• 申請（專利權）人: 西安交通大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063;G06N3/08
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 徐文權

1.一種面向物聯網領域的動態可重構卷積神經網絡加速器架構，其特征在于，包括緩存架構、處理單元陣列、計算模塊和控制器；其中，

緩存架構用于存儲來自儲外部存儲器的數據或者計算過程中產生的數據，將其組織、排列后，以預設的數據結構傳送到處理單元陣列中進行計算；處理單元陣列用于接收來自緩存架構的數據，進行卷積操作處理后存儲在緩存架構中；計算模塊用于接收來自處理單元陣列的數據，選擇進行池化、標準化、或者激活函數三種操作，并將輸出數據存儲在緩存架構中；控制器用于向緩存架構、處理單元陣列和計算模塊發送命令，并設計有外部接口，用于和外部系統進行通信；

緩存架構由輸入數據緩存、卷積核緩存和輸出數據緩存組成；控制器的輸出端與輸入數據緩存的輸入端、卷積核緩存的輸入端和輸出數據緩存的輸入端連接，輸入數據緩存的輸出端和卷積核緩存的輸出端與處理單元陣列的輸入端連接，處理單元陣列的輸出端與計算模塊的輸入端連接，計算模塊的輸出端與輸出數據緩存的輸入端連接；

輸入數據緩存由兩片存儲器組成，兩片存儲器按照“乒乓”存儲的結構存儲數據，輸入數據緩存用于接收多輸入通道的輸入圖像數據，將大塊的圖像數據轉為容易處理的小塊數據，利用塊與塊之間“行與列”的數據重合將多個輸入通道的數據傳送至處理單元陣列進行運算，提高數據重復利用率；卷積核數據緩存用于接收多輸入通道的卷積核數據，并同時將多個輸入通道的數據傳送至處理單元陣列進行運算；輸出數據緩存用于存儲來自計算模塊或者處理單元陣列中產生的中間數據，在緩存架構片上處理模式下，通過控制器將輸出數據再返回到處理單元陣列或者計算模塊進行下一批次處理；輸出數據緩存由多組存儲器并列而成，數量根據所要實現的卷積神經網絡而定；

處理單元陣列由20個處理單元組成，每個處理單元均由輸入數據轉換模塊、卷積核轉換模塊、乘法器、輸出數據轉換模塊和通道累加模塊組成；

輸入數據轉換模塊用于將來自輸入數據緩存的多通道輸入圖像數據在多個處理單元上同時進行轉換；卷積核轉換模塊用于將來自卷積核緩存的多通道卷積核數據在多個處理單元上同時進行轉換；乘法器用于將來自輸入數據轉換模塊和卷積核轉換模塊的輸出數據進行相乘；輸出數據轉換模塊用于將乘法器的輸出結果進行轉換；通道累加模塊用于將多通道數據進行加和得到一個通道的數據；

處理單元陣列接收來自輸入數據緩存、輸出數據緩存或者卷積核緩存的數據，輸出數據傳向輸出數據緩存；每個處理單元實現窗口為5*5的Winograd算法，其中Winograd算法的公式表示如下：

U＝GFG^T (1)

V＝B^TInB (2)

Out＝A^T[U·V]A (3)

其中，公式(1)表示卷積核的轉換，F矩陣為卷積核，G為轉換矩陣，U為卷積核轉換后的結果；公式(2)表示輸入數據的轉換，In矩陣表示輸入數據，B為轉換矩陣，V為輸入數據轉換后的結果；公式(3)表示輸出數據轉換，A為轉換矩陣，Out為最終的輸出結果；

計算模塊由池化模塊、激活函數模塊、數據標準化模塊、輸入選擇模塊和輸出選擇模塊組成；

控制器的輸出端與輸入選擇模塊的輸入端和輸出選擇模塊的輸入端連接，且處理單元陣列的輸出端與輸入選擇模塊的輸入端連接，輸入選擇模塊的輸出端與池化模塊的輸入端、激活函數模塊的輸入端和數據標準化模塊的輸入端連接，池化模塊的輸出端、激活函數模塊的輸出端和數據標準化模塊的輸出端與輸入選擇模塊的輸入端連接，輸入選擇模塊的輸出端與輸出數據緩存的輸入端連接；

輸入選擇模塊用于選擇對來自處理單元陣列的數據進行池化、標準化、或者激活函數操作；池化模塊用于實現池化操作；數據標準化模塊用于實現標準化操作；激活函數模塊用于實現ReLU激活函數操作；輸出選擇模塊用于選擇將池化模塊、數據標準化模塊或激活函數模塊中的一個作為結果輸出到緩存架構中。

2.根據權利要求1所述的一種面向物聯網領域的動態可重構卷積神經網絡加速器架構，其特征在于，激活函數模塊執行ReLU激活函數，其表達式如公式(4)所示：

f(x)＝x(x＞0)；f(x)＝0(x＜＝0) (4)

其中，公式(4)中x表示ReLU激活函數的輸入，即為通道累加模塊的輸出結果，f表示激活函數模塊的輸出。