[發明專利]一種基于混合精度配置的卷積神經網絡加速器及其實現方法

有效

• 申請號: 202011050462.6
• 申請日: 2020-09-29
• 公開（公告）號: CN112257844B
• 公開（公告）日: 2022-04-26
• 發明（設計）人: 卓成;周鮮;張力;郭楚亮
• 申請（專利權）人: 浙江大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063;G06F7/498
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 劉靜

本發明公開了一種基于混合精度配置的卷積神經網絡加速器及其實現方法，該加速器包括：權重分離模塊、低精度處理模塊和高精度處理模塊；在權重經過加速器的權重分離模塊之后，將高精度權重和低精度權重分離，利用低精度處理模塊計算低精度權重，利用高精度處理模塊計算高精度權重，再通過相加模塊將這兩部分的結果相加，最終實現卷積計算。本發明提出了混合精度配置的架構，可用于通用的卷積神經網絡加速器，將權重按照精度分開處理，減小了計算單元陣列的計算位寬，節省大量存儲面積并降低了加速器的運算功耗。

技術領域

本發明涉及卷積神經網絡、低功耗設計、邊緣計算、硬件加速器等工程技術領域，特別涉及一種基于混合精度配置的卷積神經網絡加速器及其實現方法。

背景技術

卷積神經網絡廣泛地應用于多種深度學習領域，特別是在邊緣計算應用中。在移動端設備中，通常會受到可用計算資源和存儲資源的限制，因此需要更有效的硬件來實現更小的存儲、更快的推理和更低的功耗。比起功耗極高的GPU，FPGA和ASIC才是更適合的低功耗卷積神經網絡加速器解決方案。然而，隨著卷積神經網絡(CNN)算法復雜度的不斷提升，將導致計算需求和存儲需求顯著提高，這對深度神經網絡(DNN)硬件加速器的設計是一個很大的考驗。在設計輕量級CNN以實現更好的速度與精度方面，已取得了一些實質性的進展。在這些研究中，量化和稀疏化已經成為了一個有效的訓練方法。經過訓練后的網絡，許多權重值可以被歸零或者量化為較少的比特位，同時精度損失有限。因此設計一個僅處理低比特位的基本處理單元(PE)以減小開銷，是一個對節省功耗很有效的方法。

針對權重的分布特點，已有許多研究人員研究了各類通用加速器架構。但是先前工作的精度控制最多是在分層的粒度上，即是指同一層中，所有的操作需要使用相同的精度來進行存儲和計算。但即使在同一層中，權重的有效位寬也具有很大的變化。上述的有效位寬是指不損失精度的情況下，能表示權重的最小比特數。例如即使使用16位整型數來存儲數據“3”，但這個數據的有效位寬也只有2位，剩下的14位均是無效的。這個現象的產生是由于神經網絡的魯棒性，在量化驅動的訓練過程中，神經網絡趨向于收斂到更稀疏的權重。先前工作中的架構為了保證準確性，必須對每一層使用最高的有效精度，即最長的比特寬度。然而，實際的存儲與計算中可以跳過許多位，特別是高位，以節省存儲或計算資源，而無需任何網絡精度損失。

綜上，提供一種基于混合精度配置的卷積神經網絡加速器，在同一層神經網絡的計算中將不同精度的權重分開計算，成為了提高硬件利用率，節省存儲空間和降低功耗的關鍵。

發明內容

本發明目的在于針對現有技術的不足，提出一種基于混合精度配置的卷積神經網絡加速器及其實現方法。

本發明的目的是通過以下技術方案來實現的：一種基于混合精度配置的卷積神經網絡加速器，所述卷積神經網絡中的每一卷積層均由卷積神經網絡加速器計算，所述卷積神經網絡加速器包括低精度處理模塊、高精度處理模塊、片上全局緩存器和權重分離模塊。卷積神經網絡第一層輸入為待處理的圖像，最后一層輸出為卷積計算完成后的圖像；

所述片上全局緩存器由全局低精度權重存儲器、全局高精度權重存儲器、特征圖全局緩存器以及計算過程中的部分和全局緩存器構成。所述特征圖全局緩存器中存儲著從外部存儲器中讀取的特征圖；

所述權重分離模塊用于從外部存儲器中讀取權重數據，依據權重位寬閾值判斷權重數據為高精度權重數據或低精度權重數據，然后將低精度權重數據存入全局低精度權重存儲器，將高精度權重的數據以及該高精度權重在所有權重中的位置存入全局高精度權重存儲器中。

所述低精度處理模塊由若干個低精度計算單元組成的矩形陣列構成，每個低精度計算單元從全局低精度權重存儲器中讀取低精度權重數據，并從特征圖全局緩存器中讀取特征圖數據，矩形陣列中的每列低精度計算單元進行乘加計算并將計算結果累加，然后輸出到高精度處理模塊中。