[發(fā)明專利]深度二值神經(jīng)網(wǎng)絡訓練方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201911200568.7
• 申請日: 2019-11-29
• 公開（公告）號: CN110929852A
• 公開（公告）日: 2020-03-27
• 發(fā)明（設計）人: 胡晰遠;袁勇;陳晨;彭思龍
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京市恒有知識產(chǎn)權代理事務所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

1.一種深度二值神經(jīng)網(wǎng)絡訓練方法，其特征在于，所述訓練方法包括：

初始化浮點型的深度神經(jīng)網(wǎng)絡，得到初始化網(wǎng)絡模型；

基于交替方向乘子法，根據(jù)所述初始化網(wǎng)絡模型，采用目標傳播算法，得到具有二值激活和浮點型權重的優(yōu)化深度神經(jīng)網(wǎng)絡；

基于交替方向乘子法，根據(jù)所述優(yōu)化深度神經(jīng)網(wǎng)絡，得到深度二值神經(jīng)網(wǎng)絡。

2.根據(jù)權利要求1所述的深度二值神經(jīng)網(wǎng)絡訓練方法，其特征在于，所述基于交替方向乘子法，根據(jù)所述初始化網(wǎng)絡模型，采用目標傳播算法，得到具有二值激活和浮點型權重的優(yōu)化深度神經(jīng)網(wǎng)絡，具體包括：

在連續(xù)空間，根據(jù)目標傳播算法，獲得具有二值激活和浮點型權重的優(yōu)化深度神經(jīng)網(wǎng)絡，所述優(yōu)化深度神經(jīng)網(wǎng)絡的目標函數(shù)為：

其中，W為所述優(yōu)化深度神經(jīng)網(wǎng)絡的全精度權重，k表示迭代次數(shù)，N表示要進行二值化的網(wǎng)絡層數(shù)，i＝1,2,…N，f(W)表示所述優(yōu)化深度神經(jīng)網(wǎng)絡的原有損失，Z表示所述深度二值神經(jīng)網(wǎng)絡的權重，U表示對偶變量，ρ表示懲罰因子；min()為取最小值函數(shù)；arg()為取自變量函數(shù)，W_i為所述優(yōu)化深度神經(jīng)網(wǎng)絡第i層的全精度權重，為所述深度二值神經(jīng)網(wǎng)絡第i層第k次迭代的權重，為第i層第k次迭代的對偶變量。

3.根據(jù)權利要求1所述的深度二值神經(jīng)網(wǎng)絡訓練方法，其特征在于，所述目標傳播算法，具體包括：

在當前迭代中，設置當前網(wǎng)絡模型中各層的激活單元的優(yōu)化目標；其中，最后一層的優(yōu)化目標為樣本標簽，除最后一層外，其它層的激活單元的優(yōu)化目標為二值離散數(shù)值；

根據(jù)預激活和優(yōu)化目標，計算當前網(wǎng)絡模型中各層的目標損失：

其中，L_i表示第i層的目標損失，x_ij表示第i層第j個預激活單元，a_ij表示第i層第j個激活單元，t_ij表示第i層第j個激活單元的優(yōu)化目標；

對最后一層，目標損失采用原有目標損失函數(shù)；

根據(jù)各層的目標損失，從最后一層逐層向前優(yōu)化每一層的參數(shù)，得到各層對應的優(yōu)化參數(shù)；

根據(jù)各層的優(yōu)化參數(shù)，建立具有二值激活和浮點型權重的優(yōu)化深度神經(jīng)網(wǎng)絡，所述具有二值激活和浮點型權重的優(yōu)化深度神經(jīng)網(wǎng)絡為更新后的當前網(wǎng)絡模型。

4.根據(jù)權利要求3所述的深度二值神經(jīng)網(wǎng)絡訓練方法，其特征在于，所述設置當前網(wǎng)絡模型中各層的激活單元的優(yōu)化目標為采用啟發(fā)式的設置方法設置優(yōu)化目標。

5.根據(jù)權利要求4所述的深度二值神經(jīng)網(wǎng)絡訓練方法，其特征在于，所述啟發(fā)式的設置方法為：

其中，sign()為符號函數(shù)，L_i+1表示第i+1層的目標損失，e_i表示i+1層的損失L_i+1對激活a_ij的梯度閾值；當a_ij的梯度大于等于e_i時，優(yōu)化目標t_ij取取負梯度的符號函數(shù)；當a_ij的梯度小于e_i時，優(yōu)化目標t_ij取預激活x_ij的符號函數(shù)。

6.根據(jù)權利要求1所述的深度二值神經(jīng)網(wǎng)絡訓練方法，其特征在于，所述基于交替方向乘子法，根據(jù)所述優(yōu)化深度神經(jīng)網(wǎng)絡，得到深度二值神經(jīng)網(wǎng)絡，具體包括：

根據(jù)所述優(yōu)化深度神經(jīng)網(wǎng)絡，采用歐式映射，得到深度二值神經(jīng)網(wǎng)絡，其中所述深度二值神經(jīng)網(wǎng)絡的目標函數(shù)為：

其中，W_i^k+1為所述優(yōu)化深度神經(jīng)網(wǎng)絡第i層第k+1次迭代的全精度權重，為所述深度二值神經(jīng)網(wǎng)絡第i層第k次迭代的二值化權重，為第i層第k次迭代的對偶變量。