[發明專利]一種用于非精確計算神經網絡的電路設計方法

有效

• 申請號: 201611242077.5
• 申請日: 2016-12-29
• 公開（公告）號: CN108256642B
• 公開（公告）日: 2021-08-31
• 發明（設計）人: 陳天石;任逸軒;郭崎;杜子東;支天;陳云霽
• 申請（專利權）人: 上海寒武紀信息科技有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06F7/523
• 代理公司: 北京林達劉知識產權代理事務所(普通合伙) 11277
• 代理人: 劉新宇

本發明提供了一種用于非精確計算神經網絡的電路設計方法，包括以下步驟：確定位寬，用以確定非精確乘法器的位寬選擇范圍；生成電路結構，通過一種以電路中結點重要性排名為驅動的啟發式隨機算法，對每一種備選位寬，生成多種具體電路，所述多種具體電路就是所有可選的非精確乘法器結構；獨立替換，將神經網絡中的每個精確乘法器獨立地替換為某種結構的非精確乘法器，得到的所有可能方案組成一個解空間；遍歷比較，在所述解空間內隨機選擇一部分方案，遍歷每種方案下非精確神經網絡的訓練和測試效果，得到最優解。本發明在運算結果準確度受到的影響不大的情況下，極大地減少了面積和功耗，提升了運算速度。

技術領域

本發明涉及人工神經網絡技術領域，特別涉及一種用于非精確計算神經網絡的電路設計方法。

背景技術

人工神經網絡是機器學習領域的新興熱門算法，在人臉識別、目標檢測等眾多細分領域都取得了很好的成就。然而其對硬件性能有著極大的依賴，往往需要服務器級別的CPU和GPU完成訓練和識別，在體積和功耗上都成本驚人。在智能設備日漸小型化的今天，人工神經網絡的這種特點使得個人智能設備不得不始終聯網運行，阻礙了其速度的進一步提升。而如果要為人工神經網絡專門設計加速器芯片，其面積和功耗都需要非常壓縮和節省。

非精確計算是信號處理和科學計算領域一個應用廣泛的方法，其基本思想是對計算結果的準確度或精度要求不高時，在計算過程中進行適度的簡化，從而節省運行時間、功耗等其他更在意的資源。人工神經網絡天生非常符合非精確計算的應用條件，因為其運算過程中有大量個體意義不明中間數據，即使有小幅誤差也不會對最后結果產生明顯影響。另一方面，其反復訓練過程也使其對計算誤差可以逐漸適應。因此，在人工神經網絡執行中采用非精確運算單元，是在需要提升速度、降低功耗時非常適合的手段。

但是，非精確運算單元并非某種特定的結構，整個神經網絡中數以萬計的運算單元分別采用哪一種非精確結構才能達到最佳效果也難以確定。非精確計算思想在神經網絡運算中的具體應用還面臨著困難。

發明內容

(一)要解決的技術問題

鑒于上述技術問題，本發明提供了一種用于非精確計算神經網絡的電路設計方法。

(二)技術方案

根據本發明的一個方面，提供了一種用于非精確計算神經網絡的電路設計方法，包括以下步驟：確定位寬，用以確定非精確乘法器的位寬選擇范圍；生成電路結構，對每一種備選位寬，生成多種具體電路，所述多種具體電路就是所有可選的非精確乘法器結構；獨立替換，將神經網絡中的每個精確乘法器獨立地替換為某種結構的非精確乘法器，得到的所有可能方案組成一個解空間；遍歷比較，在所述解空間內隨機選擇一部分方案，遍歷每種方案下非精確神經網絡的訓練和測試效果，得到最優解。

在本發明的某些實施例中，確定位寬的具體步驟為：

確定上界；確定下界；確定步長。

在本發明的某些實施例中，在確定上界的步驟中，把精確乘法器的位寬作為上界；在確定下界的步驟中，把精確乘法器的位寬的一半作為下界。

在本發明的某些實施例中，在確定步長的步驟中，把步長設為2。

在本發明的某些實施例中，在生成電路結構的步驟中，采用一種以電路中結點重要性排名為驅動的啟發式隨機算法來生成電路結構。

在本發明的某些實施例中，所述啟發式隨機算法的具體步驟為：

給出當前位寬下精確乘法器的卡諾圖和邏輯門電路；

計算所述邏輯門電路的硬件開銷；

進入遍歷循環：將卡諾圖中的任意若干位翻轉，得到新卡諾圖，計算新邏輯門電路的結果誤差和硬件開銷，如果結果誤差在容忍度內，硬件開銷是當前最小，則將當前卡諾圖和邏輯門電路及其結果誤差和硬件開銷作為當前的最優解；