[發明專利]一種應用于卷積神經網絡的加速方法和加速器

有效

• 申請號: 201810306577.3
• 申請日: 2018-04-08
• 公開（公告）號: CN108510063B
• 公開（公告）日: 2020-03-20
• 發明（設計）人: 劉勇攀;袁哲;岳金山;楊華中;李學清;王智博
• 申請（專利權）人: 清華大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王瑩;吳歡燕

1.一種應用于卷積神經網絡的加速方法，其特征在于，包括：

S1，對于卷積神經網絡中的任一層，分別計算該層輸出的各特征圖的稠密度；

S2，將該層輸出的各所述特征圖的稠密度與多個預設閾值進行比較，根據比較結果將各所述特征圖進行稀疏編碼；其中，不同的比較結果對應不同的稀疏編碼方式；

S3，基于該層下一層的卷積層對稀疏編碼后的各所述特征圖和預先稀疏編碼的所述卷積神經網絡中的各卷積核進行卷積；

其中，所述預設閾值包括第一預設閾值和第二預設閾值；其中，所述第一預設閾值小于所述第二預設閾值；

相應地，所述步驟S2具體包括：

若各所述特征圖的稠密度小于所述第一預設閾值，則將各所述特征圖編碼為稀疏矩陣存儲格式；

若各所述特征圖的稠密度大于或等于所述第一預設閾值，且小于所述第二預設閾值，則將各所述特征圖中的0元素進行標記；

若各所述特征圖的稠密度大于或等于所述第二預設閾值，則不對各所述特征圖進行稀疏編碼；

所述步驟S3具體包括：

當各所述特征圖中存在所述標記時，對各所述特征圖中標記對應的元素不進行計算。

2.根據權利要求1所述的方法，其特征在于，所述步驟S1具體包括：

對于任一所述特征圖，統計該特征圖中非0元素的個數和該特征圖中所有元素的總個數；

將該特征圖中非0元素的個數與該特征圖中所有元素的總個數之間的比值作為該特征圖的稠密度。

3.根據權利要求1所述的方法，其特征在于，所述步驟S3之前還包括：

計算訓練好的卷積網絡中各卷積核的稠密度；

若各所述卷積核的稠密度小于所述第一預設閾值，則將各所述卷積核編碼為稀疏矩陣存儲格式；

若各所述卷積核的稠密度大于或等于所述第一預設閾值，且小于所述第二預設閾值，則將各所述卷積核中的0元素進行標記；

若各所述卷積核的稠密度大于或等于所述第二預設閾值，則不對各所述卷積核進行稀疏編碼。

4.根據權利要求3所述的方法，其特征在于，所述步驟S3具體包括：

當各所述卷積核中存在所述標記時，對各所述卷積核中標記對應的元素不進行計算。

5.一種應用于卷積神經網絡的加速器，其特征在于，包括：神經網絡計算陣列模塊和動態稀疏調整模塊；

其中，所述動態稀疏調整模塊用于計算卷積神經網絡中各層輸出的各特征圖的稠密度，將各所述特征圖的稠密度與多個預設閾值進行比較，根據比較結果對各所述特征圖進行稀疏編碼；其中，不同的比較結果對應的不同稀疏編碼方式；

所述神經網絡計算陣列模塊用于對稀疏編碼后的各所述特征圖和預先稀疏編碼的所述卷積神經網絡中的各卷積核進行卷積操作；

其中，所述預設閾值包括第一預設閾值和第二預設閾值；其中，所述第一預設閾值小于所述第二預設閾值；

相應地，所述動態稀疏調整模塊包括動態編碼模塊，所述動態編碼模塊具體用于：

若各所述特征圖的稠密度小于所述第一預設閾值，則將各所述特征圖編碼為稀疏矩陣存儲格式；

若各所述特征圖的稠密度大于或等于所述第一預設閾值，且小于所述第二預設閾值，則將各所述特征圖中的0元素進行標記；

若各所述特征圖的稠密度大于或等于所述第二預設閾值，則不對各所述特征圖進行稀疏編碼；

所述神經網絡計算陣列模塊具體用于：

當各所述特征圖中存在所述標記時，對各所述特征圖中標記對應的元素不進行計算。