[發明專利]基于可重構計算的卷積神經網絡池化層、硬件實現方法及系統

在審

• 申請號: 201911014329.2
• 申請日: 2019-10-23
• 公開（公告）號: CN110942145A
• 公開（公告）日: 2020-03-31
• 發明（設計）人: 李麗;鄭茜;傅玉祥;李偉;何國強;陳鎧
• 申請（專利權）人: 南京大學
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04
• 代理公司: 南京泰普專利代理事務所(普通合伙) 32360
• 代理人: 竇賢宇

本發明涉及基于一種可重構計算的卷積神經網絡池化層、硬件實現方法及系統，該系統包括：控制單元、數據暫存單元、最大池化/平均池化計算單元。控制單元用于讀取配置信息，通過有限狀態機控制卷積神經網絡池化層的運算流程，通過調用最大池化/平均池化計算單元以實現最大池化和平均池化算法；數據暫存單元用于存儲計算所需的輸入層信息及輸出層結果；最大池化/平均池化計算單元用于計算輸出層中各個通道的信息。本發明提出了一種可重構的卷積神經網絡池化層硬件架構，計算資源和存儲資源都可以進行裁剪拆分，在保證算法精度的情況下，高并行度的最大池化/平均池化計算單元大大提高了算法的硬件實現速度，該架構可適用于各種人工智能場景。

技術領域

本發明涉及人工智能算法領域，尤其涉及基于可重構計算的卷積神經網絡池化層的硬件實現。

背景技術

卷積神經網絡（Convolutional Neural Networks, CNN）是一類包含卷積計算且具有深度結構的前饋神經網絡（Feedforward Neural Networks），是深度學習（deeplearning）的代表算法之一。對卷積神經網絡的研究始于二十世紀80至90年代，時間延遲網絡和LeNet-5是最早出現的卷積神經網絡；在二十一世紀后，隨著深度學習理論的提出和數值計算設備的改進，卷積神經網絡得到了快速發展，并被大量應用于計算機視覺、自然語言處理等領域。

卷積神經網絡的隱含層包含卷積層、池化層和全連接層3類常見構筑，在一些更為現代的算法中可能有Inception模塊、殘差塊（residual block）等復雜構筑。在常見構筑中，卷積層和池化層為卷積神經網絡特有。以LeNet-5為例，3類常見構筑在隱含層中的順序通常為：輸入-卷積層-池化層-卷積層-池化層-全連接層-輸出。

在卷積層進行特征提取后，輸出的特征圖會被傳遞至池化層進行特征選擇和信息過濾。池化層包含預設定的池化函數，其功能是將特征圖中單個點的結果替換為其相鄰區域的特征圖統計量。池化層選取池化區域與卷積核掃描特征圖步驟相同，由池化大小、步長和填充控制。平均池化和最大池化是最常見的池化方法，二者以損失特征圖尺寸為代價保留圖像的背景和紋理信息。池化操作在每個深度切片上進行，例如最大池化中，常用的池化核為2x2大小，在每個深度切片的寬度和高度方向進行下采樣，忽略掉75%（3/4）的激活信息，池化操作的過程中，保持深度大小不變。

發明內容

發明目的：本發明的目的在于提高池化層實現的靈活性，達到硬件資源與網絡大小相適應。該發明提供了一種基于可重構計算的卷積神經網絡池化層的硬件實現方法，該方法可以有效地提高卷積神經網絡池化層的配置靈活性，減少硬件資源開銷，更好地滿足實際應用的需求。

技術方案：基于可重構計算的卷積神經網絡池化層，包括：

控制單元，用于讀取配置信息，通過有限狀態機控制卷積神經網絡池化層的運算流程，通過調用最大池化/平均池化計算單元以實現最大池化和平均池化算法；

數據暫存單元，用于存儲計算所需的輸入層信息及輸出層結果；

最大池化/平均池化計算單元，用于計算輸出層中各個通道的信息。

基于可重構計算的卷積神經網絡池化層，包括：

控制單元，用于控制卷積神經網絡池化層整個的運算流程，通過最大池化/平均池化計算單元來實現池化層的兩種推理方式；

數據暫存單元，用于存儲計算所需的輸入層信息和輸出層結果；

最大池化計算單元，用于在每個深度切片的寬度和高度方向下進行下采樣，通過求所取樣本內的最大值來減少卷積神經網絡的數據量，其僅在最大池化時被激活；

平均池化計算單元，用于在每個深度切片的寬度和高度方向下進行下采樣，通過求所取樣本內的平均值來減少卷積神經網絡的數據量，其僅在平均池化時被激活。