[發明專利]二值或三值神經網絡卷積計算的加速運算方法及裝置

有效

• 申請號: 202011595842.8
• 申請日: 2020-12-29
• 公開（公告）號: CN112596912B
• 公開（公告）日: 2023-03-28
• 發明（設計）人: 尹首一;楊建勛;周璟;韓慧明;劉雷波;魏少軍
• 申請（專利權）人: 清華大學
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F17/15;G06N3/10
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 侯天印;楊丹

1.一種二值或三值神經網絡卷積計算的加速運算方法，其特征在于，包括：

將待卷積計算的卷積核組合為多個目標卷積核對，其中，每個目標卷積核對包括：兩個卷積核，且兩個卷積核在使用如下卷積計算方法時所需的運算次數最少：標準二值或三值卷積方法、基于積分卷積的加速方法、基于卷積核拆分的加速方法；

將使用標準二值或三值卷積方法的卷積核和使用基于積分卷積的加速方法的卷積核，按照稀疏度遞減順序進行排序，得到編號依次為1···n···N的卷積核；

將編號為n和編號N-n+1為的卷積核組合為一個卷積核對，得到重新組合后的目標卷積核對；

通過可重構處理陣列中的兩個PE對每個目標卷積核對的兩個卷積核進行計算；

每個PE包括：預處理單元、可配置加法器樹、積分融合單元、激活值重構單元；

其中，所述預處理單元，用于實現兩級的去零均衡調度方法；

所述可配置加法器樹，用于實現不同位寬激活值計算的優化；

所述積分融合單元，用于實現基于積分卷積的加速方法的計算；

所述激活值重構單元，用于實現基于卷積核拆分的加速方法的計算。

2.如權利要求1所述的方法，其特征在于，將待卷積計算的卷積核組合為多個卷積核對，包括：

從未配對的卷積核中選取一個卷積核，作為待配對卷積核；

將所述待配對卷積核與所述未配對的卷積核中除所述待配對卷積核之外的其他卷積核依次組合，得到多個卷積核對；

計算每個卷積核對在使用如下三種卷積計算方法時所需的運算次數：標準二值或三值卷積方法、基于積分卷積的加速方法、基于卷積核拆分的加速方法；

將運算次數最少的卷積核對作為一個目標卷積核對，并將相應的卷積計算方法，確定為所述目標卷積核對使用的卷積計算方法。

3.如權利要求1所述的方法，其特征在于，所述可重構處理陣列包括：多個PE組，每個PE組包括：兩個PE；其中，通過可重構處理陣列中的兩個PE對每個目標卷積核對的兩個卷積核進行計算，包括：

將每個目標卷積核對的兩個卷積核送到一個PE組的兩個PE中進行計算；

對同一個PE組的兩個PE，按照預設周期切換不同稀疏度的卷積核進行計算。

4.如權利要求1所述的方法，其特征在于，通過可重構處理陣列中的兩個PE對每個目標卷積核對的兩個卷積核進行計算，包括：

檢測輸入數據中非零值的數據個數以及各個隊列的長度；

根據檢測結果，將輸入數據中非零值的數據發送到長度較短的隊列中。

5.如權利要求1至4任一項所述的方法，其特征在于，所述基于積分卷積的加速方法為：使用關系式將二值或三值神經網絡原始的權重值變換為新的權重值：

W＝1-2×W_FIBC；

其中，W表示原始的權重值；W_FIBC表示新的權重值。

6.如權利要求1至4任一項所述的方法，其特征在于，所述基于卷積核拆分的加速方法為：將相同位置上權重相同或相反數量最多的卷積核進行配對，并使用如下關系式將二值或三值神經網絡原始的權重值變換為新的權重值：

其中，K₁和K₂表示原始的權重值；K'₁和K'₂表示新的權重值。