[發明專利]一種二值神經網絡的構建方法

在審

• 申請號: 202110462157.6
• 申請日: 2021-04-27
• 公開（公告）號: CN113159296A
• 公開（公告）日: 2021-07-23
• 發明（設計）人: 周賢中;黃智豪;趙曜;王帥;楊帆
• 申請（專利權）人: 廣東工業大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 劉俊

1.一種二值神經網絡的構建方法，其特征在于，包括以下步驟：

S1：構建初始的神經網絡；

S2：分別對所述神經網絡的權重和輸入數據進行二值化處理，得到二值化權重和二值化輸入數據；

S3：根據二值化輸入數據和二值化權重對所述神經網絡進行訓練，得到優化的神經網絡；

S4：判斷優化的神經網絡的所有權重和輸入數據是否全部收斂為+1或-1；

若是，則執行步驟S6；

若否，則執行步驟S5；

S5：更新神經網絡的參數，得到新的二值化權重，并返回步驟S3；

S6：得到二值神經網絡。

2.根據權利要求1所述的一種二值神經網絡的構建方法，其特征在于，所述神經網絡包括二值歸一化層、二值激活層、二值卷積層和池化層。

3.根據權利要求2所述的一種二值神經網絡的構建方法，其特征在于，所述神經網絡的計算順序依次為：二值歸一化層、二值激活層、二值卷積層、池化層；

其中，在二值歸一化層對輸入數據進行標準化，使之均值為0，在二值卷積層后插入一個非二進制激活函數。

4.根據權利要求3所述的一種二值神經網絡的構建方法，其特征在于，所述非二進制激活函數為ReLU函數。

5.根據權利要求2所述的一種二值神經網絡的構建方法，其特征在于，在步驟S2中，利用二值矩陣B和第一尺度因子α∈R⁺代替所述神經網絡的權重W。

6.根據權利要求5所述的一種二值神經網絡的構建方法，其特征在于，通過以下步驟求得二值矩陣B和第一尺度因子α∈R⁺的最優值：

用I*W表示卷積層的操作，其中，I表示輸入數據，W表示權重，維度是c*w*h，c表示通道數，w表示寬度，h表示高度，

令W貼近B時得到：

I*W≈(I⊕B)α

其中，⊕表示不含任何乘法的卷積，

得到優化目標函數：

J(B,α)＝||W-αB||²

其中，min()為取最小值函數，arg()為取自變量函數；

將優化目標函數展開為：

J(B,α)＝α²B^TB-2αW^TB+W^TW

其中，B是一個1*n的向量，取-1或者1，B^TB＝n，即為一個常量，

結合可得B的最優值計算公式：

B∈{+1,-1}ⁿ

B^*＝sign(W)

B的最優值即決定W的符號，

根據優化目標函數展開式對第一尺度因子α求導，從而得到α的最優值計算公式：

結合B^*＝sign(W)求得α最終的最優值計算公式：

其中，α的最優值是W的每個元素的絕對值之和的均值，||W||表示l1范數。

7.根據權利要求6所述的一種二值神經網絡的構建方法，其特征在于，在步驟S2中，利用β和H近似表示輸入數據I，其中，β為第二尺度因子，H為二值卷積核，H∈{+1,-1}ⁿ，β∈R⁺，

期望得到β、H、α和B使得

I^TW≈βH^TαB

優化表達式為：

其中，⊙表示點乘，

用Y表示IW，C表示HB，γ表示βα，得到

因此，得到C和γ的計算公式：

C^*＝sign(Y)＝sign(I)⊙sign(W)＝H^*⊙B^*

其中，|I_i|和|W_i|是相互獨立的，

根據C和γ的計算公式求得β、H、α和B的最優值。