[發明專利]二值或三值神經網絡卷積計算的加速運算方法及裝置

有效

• 申請號: 202011595842.8
• 申請日: 2020-12-29
• 公開（公告）號: CN112596912B
• 公開（公告）日: 2023-03-28
• 發明（設計）人: 尹首一;楊建勛;周璟;韓慧明;劉雷波;魏少軍
• 申請（專利權）人: 清華大學
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F17/15;G06N3/10
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 侯天印;楊丹

本發明公開了一種二值或三值神經網絡卷積計算的加速運算方法及裝置，其中該方法包括：針對標準二值或三值卷積方法、基于積分卷積的加速方法、基于卷積核拆分的加速方法等多種卷積計算方法，基于最少運算次數，將待卷積計算的卷積核組合為多個包含兩個卷積核的目標卷積核對；將使用標準二值或三值卷積方法的卷積核和使用基于積分卷積的加速方法的卷積核，按照稀疏度遞減順序進行排序，得到編號依次為1···n···N的卷積核；將編號為n和編號N?n+1為的卷積核組合為一個卷積核對，得到重新組合后的目標卷積核對；通過可重構處理陣列中的兩個PE對每個目標卷積核對的兩個卷積核進行計算。本發明能夠提高硬件計算的能效比，減少計算時間。

技術領域

本發明涉及計算機技術領域，尤其涉及一種二值或三值神經網絡卷積計算的加速運算方法及裝置。

背景技術

本部分旨在為權利要求書中陳述的本發明實施例提供背景或上下文。此處的描述不因為包括在本部分中就承認是現有技術。

深度神經網絡(DNN)在人工智能的許多應用中都取得了巨大的成功，例如目標識別，圖像標注，人臉檢測，語音識別，和機器翻譯等方面。但是，高精度的DNN需要大量的計算資源和存儲資源，限制了它在移動端和物聯網(IoT)設備上的應用。為了解決這個問題，在實際應用中提出了低位寬的神經網絡。在低位寬的神經網絡中，二值和三值量化的權重可以在不降低精度的情況下減少計算需求，因此是一種有效的方案。對于激活值而言，1/2/3/4位的對數量化(對應于1/2/4/8/16位的線性量化)的激活值可以滿足不同應用情況下的所有精度要求。因此，具有1/2/4/8/16位線性量化的激活值和二值權重(BWNN)或三值權重(TWNN)的神經網絡可以同時滿足移動和IoT設備的資源限制和精度要求。在本專利中，將二值權重和三值權重的神經網絡統稱為BTNN。BTNN除了明顯的無乘法計算特性外，其卷積計算還具有三個隱式特性，具體如下：

第一個特性：傳統的卷積優化算法對BTNN無效。標準卷積算法的運算復雜度很高，因此之前的研究中提出了幾種卷積優化方法來降低全精度DNN的計算復雜度。例如基于Winograd和FFT的卷積優化方法。但是，對于BTNN的計算，這些優化方法不再有效，因為它們額外引入了許多復雜的乘法計算。而在原本的BTNN的標準卷積計算中沒有任何乘法計算。因此，有必要為BTNN開發新的卷積優化方法來解決BTNN計算的性能瓶頸。

第二個特性：BTNN的卷積計算中有許多冗余計算。BTNN中權重的可能值數量僅為兩個(1/-1，針對于二值權重)或者三個(1/-1/0，針對于三值權重)，遠小于一個具有二值或三值權重(BTNN)的神經網絡卷積核的大小。因此，兩個相同(或相反)的權重可能出現在兩個BTNN卷積核的相同位置(我們稱其為組合權重位置)。兩個BTNN內核很可能擁有很多個這樣的組合權重位置。當這兩個卷積核與相同的特征圖進行卷積時，這些組合權重位置會導致大量的重復計算(即冗余計算)。

第三個特性：BTNN的稀疏性需要做針對性的處理。BTNN具有產生于ReLU和ternarize函數的大量零值激活值和權重。可以通過去掉由這些零值引起的零值計算來提高能效。過去的工作大多數都采用門控硬件和基于索引的編碼技術來消除零值計算。但是這兩種技術都忽略了由于不同卷積核之間的稀疏性差異而導致的負載不均衡問題，降低了硬件資源的利用率。盡管后來提出的負載均衡感知和修剪方法可以去除零值計算并均衡PE上的負載，但它忽略了由激活值稀疏性帶來的負載不均衡。此外，基于索引的編碼和負載均衡感知修剪技術為了存儲非零權重的索引，引入了額外的存儲開銷。這些開銷甚至可能大于二值或三值權重本身需要的存儲量。因此，需要為BTNN設計特定的負載均衡機制，以解決負載不均衡問題，同時消除由權重值和激活值稀疏性引起的零值計算。

針對上述問題，目前尚未提出有效的解決方案。

發明內容