[發明專利]一種超導二值神經網絡加速方法及加速器

在審

• 申請號: 202210513312.7
• 申請日: 2022-05-11
• 公開（公告）號: CN114841102A
• 公開（公告）日: 2022-08-02
• 發明（設計）人: 黃俊英;付榮亮;張志敏
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06F30/331
• 分類號: G06F30/331;G06N3/04;G06N3/06
• 代理公司: 北京律誠同業知識產權代理有限公司 11006
• 代理人: 祁建國;陳思遠

本發明提出一種超導二值神經網絡加速方法和加速器，包括：獲取待運行的神經網絡第一層所有的實值權重和實值激活，分別作為當前權重和當前激活，并二值化當前權重和當前激活，得到二值權重和二值激活；將所有二值權重及其對應的二值激活構成的數據對，輸入至神經處理單元中的多個同或門，以對各個數據對完成乘法運算；通過純組合累加并行單元對所有乘法運算結果進行累加，并將累加結果和預設閾值輸入至比較器，并將比較結果作為下一層的二值激活，直到得到超導二值神經網絡最后一層的比較結果，作為超導二值神經網絡的運行結果。本發明使BNN中第一層也可進行二值化計算，且不會損失精度；本發明還避免了反饋環和存儲電路，提高超導BNN的性能。

技術領域

本發明涉及超導快速單磁通量子RSFQ和神經網絡計算領域，并特別涉及一種超導二值神經網絡加速方法及加速器。

背景技術

超導單磁通量子(Single Flux Quantum,SFQ)電路技術被ITRS列為極具前景的下一代集成電路技術。超導RSFQ電路是SFQ電路的一種，具有超高速度和超低功耗。研究證實，用亞微米約瑟夫遜結技術制造的簡單RSFQ電路最高可以工作在770GHz的頻率，這種高速是半導體集成電路所難以企及的。在相同工藝條件下，RSFQ電路中邏輯門延遲和位操作功耗都比對應的半導體電路低兩個數量級。

RSFQ電路中最基本的器件是由約瑟夫森結(Josephson Junction,JJ)構成的超導環，JJ是開關元件。與CMOS電路不同，RSFQ電路的存儲部件是電感而不是電容。超導環中的磁通量子化為Φ＝n*Φ₀，其中Φ₀＝2.07×10^-15Wb。信息以磁通量子的形式存儲，以SFQ電壓脈沖的形式傳輸。脈沖存在表示邏輯“1”，不存在表示邏輯“0”。與CMOS電路不同，在RSFQ邏輯中，幾乎所有的邏輯門都需要時鐘信號，以將存儲的磁通量子傳播到輸出端。由于一個RSFQ邏輯門可以看成是一級流水，為此RSFQ電路是完全門級流水的電路。邏輯深度是指帶時鐘邏輯門的級數。

二值神經網絡(BinarizedNeural Network，BNN)是一種量化到極致的神經網絡，可部署在資源有限的設備上。BNN中，激活和權重都是用1位(1bit)來表示，從而大大節省了存儲容量和計算量。為了將實值的權重或激活變量x量化為1bit，常使用Sign(x)函數實現二值化：

其中，x^b是實值的權重或激活變量x對應的二值化的值。在全精度卷積神經網絡中非線性激活函數f，可以表示為：

在BNN中，除第一層外，其余層的神經元的激活和權重都只有兩個可能的值，即-1或+1。因此，等式(2)中的權重和激活之間的乘積與和，可以替換為邏輯同或(XNOR)操作和popcount操作。popcount操作的功能是計算一個數據向量中的1的個數。而且，最終的結果可以通過比較popcount和一個訓練得到的閾值μ得到，且，閾值μ是通過訓練得到的，因此每一層的閾值μ不一定相同。因此，對于一個BNN，等式(2)變為：

公式2中的w和x是float32浮點數(小數)，公式3中的w^b和x^b表示二值化之后的w和x，也就是說w^b和x^b都是1bit的數(0或1)，b代表是binarized。

為了使用硬件實現BNN，已有研究基于FPGA(Field Programmable Gate Array)或ASIC(Application Specific Integrated Circuit)提出了很多BNN推理加速器。然而，這些設計中均基于傳統CMOS實現，可達到的最高性能和能效有限。

發明內容