[發明專利]面向二值神經網絡的二值化裝置、方法及應用

有效

• 申請號: 201811041101.8
• 申請日: 2018-09-07
• 公開（公告）號: CN109308517B
• 公開（公告）日: 2021-08-24
• 發明（設計）人: 韓銀和;閔豐;許浩博;王穎
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京泛華偉業知識產權代理有限公司 11280
• 代理人: 王勇;李科

1.一種面向二值神經網絡的聯合裝置，包括：

數據接收單元，用于接收神經網絡待二值化的非二值輸入數據和預設的二值化參數，其中，所述非二值輸入數據是神經元數據和/或權值數據和/或卷積運算結果；

二值化計算單元，用于針對所述輸入數據執行二值化計算，所述二值化計算單元包括比較模塊和賦值模塊，其中，所述比較模塊用于將非二值輸入數據的每一位數值分別與所述預設的二值化參數相比較并獲得比較結果，所述賦值模塊根據所述比較結果將所述非二值輸入數據的數據值對應轉化為二值數據值；

數據輸出單元，用于輸出所述二值化計算單元獲得的二值化結果；

激活單元，所述激活單元與所述數據接收單元相連，用于針對神經網絡中待激活的向量運算結果執行激活運算，并將激活運算結果傳輸至所述數據接收單元；

參數調節單元，所述參數調節單元與所述數據接收單元相連，用于動態調節所述數據接收單元接收的所述預設的二值化參數以實現等效激活運算，其中，所述二值化參數根據所述非二值輸入數據的值域范圍進行預設，或根據所述非二值輸入數據的分布規律進行預設。

2.根據權利要求1所述的聯合裝置，其特征在于，所述二值化參數為預設的閾值，所述比較模塊將所述非二值輸入數據的每一位 數值分別與所述閾值相比較，若所述非二值輸入數據的數值大于或等于所述閾值，則所述賦值模塊將所述數值對應轉化為1，反之則為0。

3.根據權利要求2所述的聯合裝置，其特征在于，所述賦值模塊根據所述非二值輸入數據每一位 數值的正負對所述非二值輸入數據進行轉化；其中，若所述非二值輸入數據的數值為正或為0，則對應轉化為1；若所述非二值輸入數據的數值為負，則對應轉化為0。

4.一種利用如權利要求1-3任一項所述的聯合裝置針對二值化神經網絡進行二值化的方法，包括以下步驟：

接收神經網絡的待二值化的非二值輸入數據和預設的二值化參數，其中所述待二值化的非二值輸入數據能夠被執行激活運算，所述預設的二值化參數能夠被動態調節以實現等效激活運算，所述預設的二值化參數根據所述非二值輸入數據的值域范圍進行預設，或根據所述非二值輸入數據的分布規律進行預設；

將所述非二值輸入數據與所述預設二值化參數相比較并獲得比較結果；

根據所述比較結果，將所述非二值和輸入數據對應轉化為二值數據并輸出。

5.根據權利要求4所述的二值化方法，其特征在于，將所述非二值輸入數據與所述預設二值化參數相比較并獲得比較結果進一步包括：

將所述非二值輸入數據的每一位數值分別與預設的二值化參數值進行比較。