[發明專利]基于循環重組和分塊的卷積神經網絡反向傳播映射方法

在審

• 申請號: 202110229586.9
• 申請日: 2021-03-02
• 公開（公告）號: CN112836823A
• 公開（公告）日: 2021-05-25
• 發明（設計）人: 單偉偉
• 申請（專利權）人: 東南大學
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N5/04;G06N3/04
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 沈廉

1.一種基于循環重組和分塊的卷積神經網絡反向傳播映射方法，其特征是：該方法通過數據調度方式將反向傳播算法映射到現有的用于前向推理的神經網絡加速器引擎上，采用一種反向傳播大卷積重映射方法，可以使得反向傳播中大卷積的規模和維度能夠適配到用于前向推理的神經網絡加速器中。

2.根據權利要求1所述的基于循環重組和分塊的卷積神經網絡反向傳播映射方法，其特征是：所述卷積神經網絡的反向傳播，包含以下步驟：

步驟一：誤差傳播，用于將誤差從后往前進行推導：涉及的數據為當前層的誤差張量，權重張量，前一層的誤差張量；涉及主要運算為卷積，也就是當前層的誤差張量與權重張量進行卷積得到前一層的誤差張量。

步驟二：求權重梯度，用于更新神經網絡的卷積權重：涉及的數據為前一層的激活值張量，當前層的誤差張量和權重的梯度張量；涉及的運算為大卷積，也就是前一層的激活值張量與當前層的誤差張量進行卷積得到權重梯度張量；該大卷積的卷積次序也與普通卷積的卷積次序有所不同。

3.根據權利要求1所述的基于循環重組和分塊的卷積神經網絡反向傳播映射方法，其特征是：所述大卷積的規模是指卷積中輸入圖和卷積核的面積；所述的大卷積的維度是指卷積中輸入圖的通道數以及卷積核的個數。

4.根據權利要求1所述的基于循環重組和分塊的卷積神經網絡反向傳播映射方法，其特征是：所述的前向推理的神經網絡加速器是指能夠部署神經網絡算法的加速硬件，通常只能進行神經網絡的前向推理，而無法完成網絡的訓練任務。

5.根據權利要求2所述的基于循環重組和分塊的卷積神經網絡反向傳播映射方法，其特征是：所述誤差張量是指神經網絡的輸出與真實標簽值的誤差矩陣；在神經網絡的輸出層結合真實標簽求得初始的誤差值之后，通過反向傳播算法中的誤差傳播公式，求得神經網絡每一層對應的誤差張量；所述權重張量是指卷積前向計算中使用的卷積核張量；所述激活值張量是指卷積前向計算中輸入圖和權重進行卷積得到的輸出圖經過激活函數作用后的張量。

6.根據權利要求2所述的基于循環重組和分塊的卷積神經網絡反向傳播映射方法，其特征是：所述卷積次序是指卷積操作所固有的循環順序；通常的卷積循環分為七層，從內到外依次是輸入通道循環，卷積核寬度循環，卷積核高度循環，輸出圖寬度循環，輸出圖高度循環，輸出通道循環，樣本數循環。

7.根據權利要求1所述的基于循環重組和分塊的卷積神經網絡反向傳播映射方法，其特征是：所述的反向傳播大卷積重映射方法，包括卷積循環重組和卷積分塊兩種方法。

8.根據權利要求7所述的基于循環重組和分塊的卷積神經網絡反向傳播映射方法，其特征是，所述的卷積循環重組方法采用一種大卷積循環次序置換方法，將反向傳播大卷積的循環次序進行置換，從而將求權重梯度這一步的大卷積的卷積順序轉變為跟前向卷積一致的循環方式。

9.根據權利要求8所述的基于循環重組和分塊的卷積神經網絡反向傳播映射方法，其特征是：所述的大卷積循環次序置換方法是將反向傳播大卷積中的樣本數維度的循環置換到卷積的最內層，避免反向大卷積之后需要對所有樣本求得的梯度進行累加的步驟。

10.根據權利要求7所述的基于循環重組和分塊的卷積神經網絡反向傳播映射方法，其特征是：所述的卷積分塊方法是對大卷積進行分塊操作，設定一個分塊參數，將原本較大的卷積核劃分為若干個小塊的卷積核，將每個小塊的卷積核高效地映射到前向推理的神經網絡加速器中，最后將所有分塊的輸出進行累加，得到完整的大卷積的輸出圖。