[發明專利]基于數據流的卷積神經網絡權重梯度優化方法

有效

• 申請號: 202011532343.4
• 申請日: 2020-12-22
• 公開（公告）號: CN112633498B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 劉強;孟浩
• 申請（專利權）人: 天津大學
• 主分類號: G06N3/082
• 分類號: G06N3/082;G06N3/0464
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 李素蘭

本發明公開了一種基于數據流的卷積神經網絡權重梯度優化方法，為卷積神經網絡權重梯度優化提供一種可配置的數據流架構設計，使其可以支持權重梯度計算中的不同尺寸的卷積運算，實現并行度是串行輸入的K×K(卷積核大小)倍，提升整個卷積神經網絡訓練的性能，解決了權重梯度計算中存在的不同尺寸卷積運算難以實現的問題。與現有技術相比，本發明1)加速效果明顯：對于權重梯度計算來說，其并行度較原有的串行方案提升了K×K的并行度，顯著地降低數據輸入的傳輸時間，從而達到了加速整個網絡訓練的目的，并且較通用矩陣乘的方案可以減少1?1/(K×K)％的輸入存儲；2)并且同時滿足適用性和通用性。

技術領域

本發明屬于信息技術領域、卷積神經網絡訓練硬件加速領域，尤其涉及基于低功耗、高性能的卷積神經網絡訓練。

背景技術

卷積神經網絡(Convolutional?Neural?network,CNN)作為一種前饋神經網絡，被廣泛應用于計算機視覺、自然語言處理等各大領域。隨著CNN的網絡規模、訓練數據集日益增大，CNN的訓練需要巨大的算能、存儲空間和功耗。CNN的訓練包含卷積模塊的正向傳播、反向傳播的計算。目前學業界和工業界對正向傳播的硬件實現已經提出了諸多方案，但是欠缺對反向傳播的硬件實現。反向傳播包含對輸入圖像梯度的計算和對權重梯度的計算，其計算量是正向傳播的兩倍。加速反向傳播對提升卷積神經網絡訓練十分必要。其中對輸入圖像梯度的計算與正向傳播類似，不同之處在于額外增加了旋轉180°操作且累加維度不同。因此通過數據預處理的方式對卷積核進行維度轉換，將輸出圖像梯度與卷積核輸入正向傳播的數據流模塊，即可實現對輸入圖像梯度的計算。然而對權重梯度的計算涉及到不同尺寸卷積的運算，給硬件設計造成了一定的難度，難以在速度和資源上權衡，這成為硬件實現卷積神經網絡訓練加速的主要瓶頸。

權重梯度計算公式如下：

式中：dW_ij(x,y)為第j個卷積核中第i個通道的(x,y)處的權重梯度；F_i(x+p,y+q)表示為第i張輸入圖像在(x+p,y+q)處特征值；dO_j(p,q)表示為第j個輸出圖像在(p,q)處的特征值梯度；OH、OW表示為輸出圖像的長寬。

分析上式可知，權重梯度的計算涉及到了輸入圖像與輸出圖像梯度之間不同尺寸卷積的計算，目前針對這類權重梯度計算的方式主要有兩種。以單個卷積K＝3為例：

一種是通過串行讀取輸入圖像的方式，取出對應的矩陣與輸出圖像梯度矩陣進行運算，共重復K×K次。如圖2所示，卷積核的第一個數由左一的矩陣與右側輸出圖像梯度進行卷積運算獲得。第二個數由左二的矩陣與右側輸出圖像梯度進行卷積運算獲得，依次類推。這種方案存在兩個缺點：一是需要重復讀取K×K次，二是求取對應梯度時，不參與運算的數據讀取耗費時間。

另一種則是在利用矩陣通用乘的方法進行加速。其主要通過im2col操作，根據卷積窗口的大小，將圖像轉化成矩陣，通過對矩陣乘進行并行加速，獲得整體訓練的加速。這種方式耗費大量的存儲資源和傳輸時間。

為進一步提升計算性能和降低存儲資源，獲得更優性能，提出一種針對權重梯度的優化方案非常重要。

發明內容

本發明旨在提出了一種基于數據流的卷積神經網絡權重梯度優化方法，為卷積神經網絡權重梯度優化提供一種可配置的數據流架構設計，使其可以支持權重梯度計算中的不同尺寸的卷積運算，實現并行度是串行輸入的K×K(卷積核大小)倍，提升整個卷積神經網絡訓練的性能，解決了權重梯度計算中存在的不同尺寸卷積運算難以實現的問題。

本發明的基于數據流的卷積神經網絡權重梯度優化方法，該方法具體包括如下步驟：

步驟1、將輸入圖像傳輸給行緩存模塊與列緩存模塊，拼接成(H-K+1)×(H-K+1)個K×K的卷積核大小進行周期性輸出；其中的行緩存模塊由K-1個FIFO構成，列緩存模塊由移位寄存器構成；