[發(fā)明專利]一種改進(jìn)的并行通道卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法

在審

• 申請?zhí)枺?/td>: 201710247556.4
• 申請日: 2017-04-17
• 公開（公告）號: CN107092960A
• 公開（公告）日: 2017-08-25
• 發(fā)明（設(shè)計(jì)）人: 屈景怡;朱威;李佳怡;吳仁彪
• 申請（專利權(quán)）人: 中國民航大學(xué)
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 天津才智專利商標(biāo)代理有限公司12108
• 代理人: 龐學(xué)欣

1.一種改進(jìn)的并行通道卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征在于：所述的方法包括按順序進(jìn)行的下列步驟：

1)分別利用直連和卷積兩個(gè)并行通道對卷積神經(jīng)網(wǎng)絡(luò)中的數(shù)據(jù)進(jìn)行特征提取，得到直連通道特征矩陣和卷積通道特征矩陣；

2)將步驟1)得到的兩個(gè)特征矩陣進(jìn)行合并，并輸入到最大池化層和均值池化層進(jìn)行數(shù)據(jù)降維；

3)重復(fù)步驟1)、步驟2)，得到最終特征矩陣；

4)將上述步驟3)得到的最終特征矩陣進(jìn)行全局平均池化并輸入全連接層變?yōu)橐痪S特征矩陣，并利用softmax分類器對一維特征矩陣進(jìn)行分類而對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，計(jì)算此次網(wǎng)絡(luò)訓(xùn)練的損失值；

5)利用誤差反向傳播算法進(jìn)行梯度計(jì)算，計(jì)算各層誤差項(xiàng)和權(quán)值梯度；

6)根據(jù)步驟4)中所得損失值判斷網(wǎng)絡(luò)是否收斂，如不收斂，依據(jù)步驟5)中獲得的權(quán)值梯度調(diào)整卷積神經(jīng)網(wǎng)絡(luò)初始化參數(shù)并重新進(jìn)行訓(xùn)練，如已收斂則輸出網(wǎng)絡(luò)訓(xùn)練結(jié)果。

2.根據(jù)權(quán)利要求1所述的改進(jìn)的并行通道卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征在于：在步驟1)中，所述的分別利用直連和卷積兩個(gè)并行通道對卷積神經(jīng)網(wǎng)絡(luò)中的數(shù)據(jù)進(jìn)行特征提取，得到直連通道特征矩陣和卷積通道特征矩陣的方法是：首先，將數(shù)據(jù)分別輸入直連通道和卷積通道；然后在直連通道中直接將數(shù)據(jù)映射為直連通道特征矩陣作為輸出，在卷積通道上利用多個(gè)卷積層對數(shù)據(jù)進(jìn)行卷積操作，每個(gè)卷積層的輸入是上一個(gè)卷積層的輸出，將最后一個(gè)卷積層輸出矩陣作為卷積通道的特征矩陣。

3.根據(jù)權(quán)利要求1所述的改進(jìn)的并行通道卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征在于：在步驟2)中，所述的將步驟1)得到的兩個(gè)特征矩陣進(jìn)行合并，并輸入到最大池化層和均值池化層進(jìn)行數(shù)據(jù)降維的方法是：首先，將直連通道所得特征矩陣和卷積通道所得特征矩陣進(jìn)行合并，即得到多個(gè)特征矩陣的集合；然后分別將所得特征矩陣輸入最大池化層和均值池化層，在最大池化層，使用濾波器取濾波器內(nèi)值的最大值，在均值池化層使用濾波器取濾波器內(nèi)的平均值。

4.根據(jù)權(quán)利要求1所述的改進(jìn)的并行通道卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征在于：在步驟4)中，所述的將上述步驟3)得到的最終特征矩陣進(jìn)行全局平均池化并輸入全連接層變?yōu)橐痪S特征矩陣，并利用softmax分類器對一維特征矩陣進(jìn)行分類而對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，計(jì)算此次網(wǎng)絡(luò)訓(xùn)練的損失值的方法是：首先，對最終特征矩陣進(jìn)行全局平均池化，使用和最終特征矩陣大小一致的濾波器計(jì)算特征矩陣中數(shù)據(jù)的平均值；然后，輸入全連接層，全連接層中每個(gè)神經(jīng)元分別對全局平均池化后的特征矩陣中的數(shù)據(jù)進(jìn)行非線性變換得到一維特征矩陣；最后，將一維特征矩陣輸入softmax分類器進(jìn)行分類。

5.根據(jù)權(quán)利要求1所述的改進(jìn)的并行通道卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征在于：在步驟5)中，所述的利用誤差反向傳播算法進(jìn)行梯度計(jì)算，計(jì)算各層誤差項(xiàng)和權(quán)值梯度的方法是：首先，根據(jù)softmax分類器結(jié)果計(jì)算最后一層損失值并作為最后一層的誤差項(xiàng)；然后，利用誤差反向傳播算法的鏈?zhǔn)椒▌t計(jì)算各層誤差項(xiàng)，第l個(gè)卷積層的第i個(gè)特征矩陣的誤差項(xiàng)為：

M為l+1層的特征矩陣個(gè)數(shù)，表示第l+1個(gè)卷積層的第j個(gè)特征矩陣的誤差項(xiàng)，表示對該層激活函數(shù)求導(dǎo)，J表示該層損失值，表示第l層第j個(gè)特征矩陣到l+1層第i個(gè)特征矩陣的連接權(quán)重；

最后，利用公式計(jì)算各層權(quán)值梯度，其中表示第l-1層第i個(gè)特征矩陣。

6.根據(jù)權(quán)利要求1所述的改進(jìn)的并行通道卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征在于：在步驟6)中，所述的根據(jù)步驟4)中所得損失值判斷網(wǎng)絡(luò)是否收斂，如不收斂，依據(jù)步驟5)中獲得的權(quán)值梯度調(diào)整卷積神經(jīng)網(wǎng)絡(luò)初始化參數(shù)并重新進(jìn)行訓(xùn)練，如已收斂則輸出網(wǎng)絡(luò)訓(xùn)練結(jié)果的方法是：首先，將分類結(jié)果和實(shí)際值比對并計(jì)算差值而作為損失值；然后將損失值和實(shí)現(xiàn)設(shè)定的分類閾值做比較，如小于分類閾值則判定網(wǎng)絡(luò)收斂，否則不收斂；最后，如收斂輸出網(wǎng)絡(luò)結(jié)果，否則根據(jù)公式W(t+1):＝W(t)+V(t+1)調(diào)整卷積神經(jīng)網(wǎng)絡(luò)初始化參數(shù)，其中t表示迭代次數(shù)，V(t)是動量項(xiàng)，μ為動量因子，它決定了歷史權(quán)重修正量對本次權(quán)重修正的貢獻(xiàn)大小；η為學(xué)習(xí)率；λ為權(quán)重衰減系數(shù)，W表示卷積神經(jīng)網(wǎng)絡(luò)初始化參數(shù)。