[發(fā)明專利]一種卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201711265644.3
• 申請(qǐng)日: 2017-12-05
• 公開（公告）號(hào): CN107909145A
• 公開（公告）日: 2018-04-13
• 發(fā)明（設(shè)計(jì)）人: 王曦
• 申請(qǐng)（專利權(quán)）人: 蘇州天瞳威視電子科技有限公司
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/08
• 代理公司: 天津市尚文知識(shí)產(chǎn)權(quán)代理有限公司12222
• 代理人: 張東浩

1.一種卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練方法，其特征在于，所述方法包括：初始模型訓(xùn)練步驟和卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練步驟；

所述初始模型訓(xùn)練步驟包括：

初始模型獲取訓(xùn)練圖像樣本；

根據(jù)所述訓(xùn)練圖像樣本進(jìn)行預(yù)訓(xùn)練，生成預(yù)訓(xùn)練初始模型；

根據(jù)所述預(yù)訓(xùn)練初始模型生成初始權(quán)重；

所述卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練步驟包括：

將所述初始權(quán)重配置在初始卷積神經(jīng)網(wǎng)絡(luò)模型中，生成卷積神經(jīng)網(wǎng)絡(luò)模型；

所述卷積神經(jīng)網(wǎng)絡(luò)模型獲取訓(xùn)練圖像樣本；

設(shè)置所述卷積神經(jīng)網(wǎng)絡(luò)模型中各層的訓(xùn)練學(xué)習(xí)率，根據(jù)所述訓(xùn)練圖像樣本逐層生成對(duì)應(yīng)于所述卷積神經(jīng)網(wǎng)絡(luò)模型的初級(jí)微調(diào)權(quán)重，根據(jù)所述初級(jí)微調(diào)權(quán)重逐層生成所述卷積神經(jīng)網(wǎng)絡(luò)模型的初級(jí)訓(xùn)練權(quán)重值，并將所述初級(jí)訓(xùn)練權(quán)重值配置在所述卷積神經(jīng)網(wǎng)絡(luò)模型中；

將LOSS層逐層添加至所述卷積神經(jīng)網(wǎng)絡(luò)模型中，并根據(jù)所述訓(xùn)練圖像樣本生成LOSS誤差值，根據(jù)所述LOSS誤差值逐層生成對(duì)應(yīng)于所述卷積神經(jīng)網(wǎng)絡(luò)模型中訓(xùn)練學(xué)習(xí)率的調(diào)整因子，根據(jù)所述調(diào)整因子逐層生成所述卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練權(quán)重值，并將所述訓(xùn)練權(quán)重值配置在所述卷積神經(jīng)網(wǎng)絡(luò)模型中；

迭代設(shè)置所述卷積神經(jīng)網(wǎng)絡(luò)模型中各層的訓(xùn)練學(xué)習(xí)率，直至所述卷積神經(jīng)網(wǎng)絡(luò)模型中各層均完成訓(xùn)練權(quán)重值的配置。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述初始權(quán)重包括：卷積核濾波器權(quán)值、偏置權(quán)值、全連接層權(quán)值和全連接層偏置權(quán)值。

3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述根據(jù)所述訓(xùn)練圖像樣本生成LOSS誤差值，具體為：

根據(jù)所述訓(xùn)練圖像樣本的類別數(shù)據(jù)，采用移動(dòng)平均數(shù)法逐層生成所述卷積神經(jīng)網(wǎng)絡(luò)模型中對(duì)應(yīng)的LOSS函數(shù)的誤差值。

4.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述根據(jù)所述LOSS誤差值逐層生成對(duì)應(yīng)于所述卷積神經(jīng)網(wǎng)絡(luò)模型中訓(xùn)練學(xué)習(xí)率的調(diào)整因子，根據(jù)所述調(diào)整因子逐層生成所述卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練權(quán)重值，并將所述訓(xùn)練權(quán)重值配置在所述卷積神經(jīng)網(wǎng)絡(luò)模型中，具體為：

將所述LOSS誤差值與預(yù)設(shè)的損失閾值相比較，當(dāng)LOSS誤差值低于所述損失閾值時(shí)，生成對(duì)應(yīng)于所述卷積神經(jīng)網(wǎng)絡(luò)模型當(dāng)前層的訓(xùn)練學(xué)習(xí)率的調(diào)整因子，根據(jù)所述調(diào)整因子降低所述卷積神經(jīng)網(wǎng)絡(luò)模型中對(duì)應(yīng)層的訓(xùn)練學(xué)習(xí)率，生成當(dāng)前層中對(duì)應(yīng)于調(diào)整后的訓(xùn)練學(xué)習(xí)率的訓(xùn)練權(quán)重值，并將所述訓(xùn)練權(quán)重值以初始權(quán)重的方式配置在所述卷積神經(jīng)網(wǎng)絡(luò)模型中的下一層。