[發明專利]一種基于近似乘法的神經網絡混合近似及誤差補償方法

在審

• 申請號: 202210715089.4
• 申請日: 2022-06-23
• 公開（公告）號: CN115099405A
• 公開（公告）日: 2022-09-23
• 發明（設計）人: 陳珂;梁思圓;劉偉強
• 申請（專利權）人: 南京航空航天大學
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06F7/523
• 代理公司: 南京鐘山專利代理有限公司 32252
• 代理人: 徐燕

本發明公開了一種基于近似乘法的神經網絡混合近似及誤差補償方法，包括：獲取神經網絡模型所包含的所有卷積層和全連接層；調用由若干個近似乘法器組成近似乘法器數據庫，作為對應的搜索空間；將搜索空間內的所有已知近似乘法器的二進制真值表加入神經網絡模型的推理路徑，根據神經網絡模型對應的應用場景的實際需求，對神經網絡模型中的卷積層和全連接層采用的精確乘法進行混合近似：逐層混合近似和逐權重混合近似；對混合近似后的神經網絡模型進行誤差補償。本發明能夠用最接近真實情況的方法測量近似乘法器的應用為神經網絡帶來的精度損失，能夠更精確地指導網絡友好型乘法器的設計，不僅能取得更小的精度損失，還能節約更多的硬件能耗。

技術領域

本發明涉及人工神經網絡與計算技術領域，具體而言涉及一種基于近似乘法的神經網絡混合近似及誤差補償方法。

背景技術

深度神經網絡作為典型的人工智能算法，被廣泛應用于解決分類、檢測和識別問題，隨著應用場景的復雜和多元化，網絡向著更深更大的規模發展，對算力和內存的需求也隨之提高。隨著對深度學習方法的進一步研究，新開發的深度神經網絡越來越復雜，對承載其功能實現的硬件性能要求越來越高。目前一些主流神經網絡的參數量已達到數百兆比特級別，運算量達到十億甚至百億級別。例如，VGG16共有16層，由1.38億個參數組成，總計需要15.5G次乘累加計算。然而，神經網絡的復雜度仍然在保持高速增長。從硬件角度來看，算力的瓶頸制約著神經網絡的發展。

先前的工作以網絡的冗余度為出發點，利用規則或非規則剪枝技術對神經網絡模型進行壓縮，再通過掩碼覆蓋的方式重訓練恢復精度，這樣以一定精度損失為代價能夠將模型壓縮到資源約束型設備例如無人機或其他便攜式多媒體設備上。隨著各種剪枝技術的提出，模型壓縮已接近極致，現在的一些工作將重點放在神經網絡固有的容錯特性上，開始在網絡中結合近似計算技術，深度神經網絡由于特有的分層式分布結構和訓練方式使得其本身能夠容忍一定程度的錯誤，因此在一定范圍內的近似通過重訓練步驟之后只會造成很小的精度損失，更可觀的是一些近似乘法器由于本身的誤差特性會帶來神經網絡分類精度的提高，這意味著只需要微小的網絡精度損失或者不需要精度損失，就能顯著降低硬件上的功耗、面積和延遲。

在神經網絡中使用近似計算單元帶來硬件加速的同時，也提出了新的挑戰，以乘法器的替換為例，在網絡中全局使用同一種近似乘法器會引入誤差，這種誤差會隨著網絡層數的加深而累積，甚至會導致網絡無法收斂。

公開號為CN107153522A的發明中公開了一種面向人工神經網絡計算的動態精度可配近似乘法器，該動態精度可配近似乘法器在外部控制信號的控制下，根據數據的輸入特性可以實現乘法運算的精度動態配置，并給出精確結果的近似結果。該動態精度可配近似乘法器帶來的精度損失在可接受的范圍內，同時提高了乘法的計算速度，大大降低功耗，滿足了人工神經網絡的計算需求。公開號為CN113253973A的發明中公開了一種適用于神經網絡數據和權重預分類的近似計算裝置及方法，神經網絡的權重參數預先處理，根據由最低位起連續‘0’的個數進行精細分類，輸入數據根據同樣特征進行簡單分類，二者結合作為配置近似方案的重要依據；通過控制全加器加法樹累加電路與低位或近似加法器累加電路的近似線位置，配置具有不同近似程度的近似計算陣列。針對神經網絡模型的權重參數往往是已知且固定這一特點，對權重參數進行精細預分類處理，并根據輸入系統數據的特征精細簡單二分類處理，二者結合動態選擇具有不同配置的近似乘法運算陣列，使近似方案的選擇精確、實時地匹配對應數據和權重的特征，克服了現有近似乘法動態配置方案的盲目性、滯后性和復雜性。

然而前述發明均沒有涉及不同應用場景下的混合近似，以實現對網絡的更細粒度的劃分，更加不涉及該種混合近似情況下的誤差補償策略。

發明內容

本發明針對現有技術中的不足，提供一種基于近似乘法的神經網絡混合近似及誤差補償方法，設計了兩種混合近似方案，對網絡進行更細粒度的劃分，以層或者以權重為單位選擇不同的近似乘法器進行替換；同時還針對近似神經網絡的精度恢復提出了誤差補償策略。

為實現上述目的，本發明采用以下技術方案：