[發明專利]一種有效訓練深度卷積神經網絡的方法

在審

• 申請號: 201710732378.4
• 申請日: 2017-08-24
• 公開（公告）號: CN107704917A
• 公開（公告）日: 2018-02-16
• 發明（設計）人: 郝群;蔣陽;曹杰;閆雷;高澤東
• 申請（專利權）人: 北京理工大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京理工正陽知識產權代理事務所(普通合伙)11639
• 代理人: 毛燕

1.一種有效訓練深度卷積神經網絡的方法，其特征在于：包括如下步驟，

步驟一：針對線性修正單元ReLU的缺點進行改進，提出自適應可延伸的線性修正單元Extensible ReLU(EReLU)；

線性修正單元ReLU的表達式為：

y=0x<0xx≥0---(1)]]>

通過引入參數t，使線性修正單元ReLU公式(1)改進為自適應可延伸的線性修正單元EReLU公式(2)；

y=tx<txx≥t---(2)]]>

公式(2)寫為y＝max(0_,x-t)+t，當參數t＝0時，自適應可延伸的線性修正單元EReLU退化為線性修正單元ReLU；其中，參數t可正可負且采用權值共享策略，參數t數量與卷積核數量一致；參數t能夠在訓練過程中依靠鏈式法則完成自我學習；定義t_i為神經網絡中的任意一激活層中某個自適應可延伸的線性修正單元EReLU的參數，則

∂ϵ∂ti=Σyi∂ϵ∂f(yi)∂f(yi)∂ti---(3)]]>

其中為ε損失函數，為從更深層的網絡傳來的梯度，為對該層所有神經元激活函數的加和，f(·)為自適應可延伸的線性修正單元EReLU，則由公式(2)得梯度為：

∂f(yi)∂ti=1,yi<ti0,yi≥ti---(4)]]>

引入動量μ來更新參數t_i：

Δti=μΔti+η∂ϵ∂ti---(5)]]>

引入參數t的數量與卷積核數量相同，避免引起過擬合；

步驟二：初始化步驟一中的參數t，使深度卷積神經網絡模型成為線性結構的初始形態，通過參數t自我學習，實現從線性到非線性的訓練深度卷積神經網絡方法；

將網絡權值賦值為期望為0、方差為的正態分布，將步驟一得到的自適應可延伸的線性修正單元EReLU中參數t賦值為小于-1的實數，所述的參數t的實數優選-1；其中k為卷積核尺寸，n為卷基層輸出通道數；

“卷基層+BN+EReLU”單元組成的深度卷積神經網絡中，第l層卷基層輸出為y_l＝w_lx_l+b_l，其中：w_l為第l層卷基層的權值，x_l為第l層卷基層的輸入，b_l為第l層卷基層的偏置，y_l為第l層卷基層的輸出；輸入信號期望為E(x_l)＝E(BN(f(y_l-1)))＝0，其中E(·)為期望，BN(·)為批量規范化，方差Var(x_l)＝1；使卷基層權值期望E(x_l)為0，則第l層卷基層輸出信號方差為Var(y_l)＝n_lVar(w_l)，其中n_l＝k²c_l，k為卷積核尺寸，c_l為第l層卷基層輸出通道數，自適應可延伸的線性修正單元EReLU使得深度卷積神經網絡模型能夠規避鏈式遞推，從而對于權值初始化具有更強的魯棒性；此時卷基層輸出信號方差為1，將步驟一得到的自適應可延伸的線性修正單元EReLU中參數t初始化為小于-1的實數即得到線性結構的網絡初始形態；在訓練中通過參數t自我學習，使參數t逐步向0逼近，從而實現從線性到非線性的訓練深度卷積神經網絡方法，能有效提高深度卷積神經網絡的收斂速度，提高模型的泛化能力。