[發明專利]一種超導二值神經網絡加速方法及加速器

在審

• 申請號: 202210513312.7
• 申請日: 2022-05-11
• 公開（公告）號: CN114841102A
• 公開（公告）日: 2022-08-02
• 發明（設計）人: 黃俊英;付榮亮;張志敏
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06F30/331
• 分類號: G06F30/331;G06N3/04;G06N3/06
• 代理公司: 北京律誠同業知識產權代理有限公司 11006
• 代理人: 祁建國;陳思遠

1.一種超導二值神經網絡加速方法，其特征在于，包括：

步驟1、獲取待運行的神經網絡第一層所有的實值權重和實值激活，分別作為當前權重和當前激活，并二值化該當前權重和當前激活，得到二值權重和二值激活；

步驟2、將所有該二值權重及其對應的該二值激活構成的數據對，輸入至神經處理單元中的多個同或門，以對各個數據對完成乘法運算；

步驟3、通過純組合累加并行單元對所有乘法運算結果進行累加，并將累加結果和預設閾值輸入至比較器，并將比較結果作為下一層的二值激活；

步驟4、獲取該下一層的實值權重，作為當前權重，二值化該當前權重，并將步驟3得到的二值激活作為當前激活，執行該步驟3，直到得到該超導二值神經網絡最后一層的比較結果，作為該超導二值神經網絡的運行結果。

2.如權利要求1所述的超導二值神經網絡加速方法，其特征在于，通過下式完成該二值化過程：

其中x^b是實值的權重或激活變量x對應的二值化的值。

3.如權利要求1所述的超導二值神經網絡加速方法，其特征在于，該純組合累加并行單元包括超導近似單元和超導并行計數器；

其中該超導近似單元由一列超導OR-AND門對構成，以減少輸入的數據位寬；該超導并行計數器由級聯的超導全加器組成，且該超導全加器包括T1觸發器、CB3單元、D觸發器和分離單元。

4.如權利要求3所述的超導二值神經網絡加速方法，其特征在于，該超導全加器的輸入為待求和值A、待求和值B、進位C和時鐘CLK，輸出為求和結果Sum和進位Carry；CLK通過該分離單元連接到該T1觸發器的rd端口和該D觸發器的時鐘端口；A、B、C通過該CB3單元進行邏輯或操作，輸出結果連接到該T1觸發器的數據輸入端，該T1觸發器的輸出連接到該D觸發器的數據輸入端，最后從該D觸發器的輸出端得到全加器的進位Carry，從該T1觸發器的sum端得到全加器的求和結果Sum。

5.一種超導二值神經網絡加速器，其特征在于，包括：

初始模塊，用于獲取待運行的神經網絡第一層所有的實值權重和實值激活，分別作為當前權重和當前激活，并二值化該當前權重和當前激活，得到二值權重和二值激活；

同或模塊，用于將所有該二值權重及其對應的該二值激活構成的數據對，輸入至神經處理單元中的多個同或門，以對各個數據對完成乘法運算；

累加模塊，用于通過純組合累加并行單元對所有乘法運算結果進行累加，并將累加結果和預設閾值輸入至比較器，并將比較結果作為下一層的二值激活；

循環模塊，用于獲取該下一層的實值權重，作為當前權重，二值化該當前權重，并將步驟3得到的二值激活作為當前激活，再次調用該累加模塊，直到得到該超導二值神經網絡最后一層的比較結果，作為該超導二值神經網絡的運行結果。

6.如權利要求5所述的超導二值神經網絡加速器，其特征在于，通過下式完成該二值化過程：

其中x^b是實值的權重或激活變量x對應的二值化的值。

7.如權利要求5所述的超導二值神經網絡加速器，其特征在于，該純組合累加并行單元包括超導近似單元和超導并行計數器；

其中該超導近似單元由一列超導OR-AND門對構成，以減少輸入的數據位寬；該超導并行計數器由級聯的超導全加器組成，且該超導全加器包括T1觸發器、CB3單元、D觸發器和分離單元。

8.如權利要求7所述的超導二值神經網絡加速器，其特征在于，該超導全加器的輸入為待求和值A、待求和值B、進位C和時鐘CLK，輸出為求和結果Sum和進位Carry；CLK通過該分離單元連接到該T1觸發器的rd端口和該D觸發器的時鐘端口；A、B、C通過該CB3單元進行邏輯或操作，輸出結果連接到該T1觸發器的數據輸入端，該T1觸發器的輸出連接到該D觸發器的數據輸入端，最后從該D觸發器的輸出端得到全加器的進位Carry，從該T1觸發器的sum端得到全加器的求和結果Sum。