[發(fā)明專利]一種基于牛頓共軛梯度法的深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010130876.3
• 申請(qǐng)日: 2020-02-28
• 公開（公告）號(hào): CN111476346B
• 公開（公告）日: 2022-11-29
• 發(fā)明（設(shè)計(jì)）人: 林宙辰;沈錚陽;楊一博
• 申請(qǐng)（專利權(quán)）人: 之江實(shí)驗(yàn)室
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/08;G06V10/82;G06V40/16
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 邱啟旺

1.一種應(yīng)用于人臉識(shí)別的基于牛頓共軛梯度法的深度學(xué)習(xí)網(wǎng)絡(luò)方法，其特征在于，包括如下步驟：

步驟1：采集人臉數(shù)據(jù)；

通過攝像鏡頭來采集人臉的靜態(tài)圖像和動(dòng)態(tài)圖像；

步驟2：建立人臉識(shí)別問題的目標(biāo)函數(shù)，所述目標(biāo)函數(shù)對(duì)應(yīng)神經(jīng)網(wǎng)絡(luò)的損失函數(shù)；

步驟3：選擇用于識(shí)別的深度神經(jīng)網(wǎng)絡(luò)：將殘差網(wǎng)絡(luò)中的殘差模塊替換成牛頓共軛梯度模塊，用于實(shí)現(xiàn)人臉特征提取和特征識(shí)別；所述牛頓共軛梯度模塊通過以下步驟實(shí)現(xiàn)：

(3.1)將第k個(gè)牛頓共軛梯度模塊的輸入x_k作為初始節(jié)點(diǎn)y₀：

y₀＝x_k

(3.2)初始化迭代次數(shù)t＝0；

(3.3)當(dāng)前節(jié)點(diǎn)y_t經(jīng)過卷積核W_t⁽¹⁾進(jìn)行卷積操作后，再進(jìn)行dropout操作得到第一梯度支節(jié)點(diǎn)g_t⁽¹⁾：

g_t⁽¹⁾＝dropout(W_t⁽¹⁾y_t)

其中，dropout操作用于隨機(jī)丟棄部分節(jié)點(diǎn)；

(3.4)對(duì)當(dāng)前節(jié)點(diǎn)y_t進(jìn)行dropout操作后，再經(jīng)過卷積核W_t⁽²⁾進(jìn)行卷積操作得到第二梯度支節(jié)點(diǎn)g_t⁽²⁾：

g_t⁽²⁾＝W_t⁽²⁾dropout(y_t)

(3.5)當(dāng)前節(jié)點(diǎn)y_t經(jīng)過卷積核W_t⁽³⁾進(jìn)行卷積操作后，進(jìn)行dropout操作，再經(jīng)過卷積核W_t⁽⁴⁾進(jìn)行卷積操作得到第三梯度支節(jié)點(diǎn)g_t⁽³⁾：

g_t⁽³⁾＝W_t⁽⁴⁾dropout(W_t⁽³⁾y_t)

(3.6)對(duì)當(dāng)前節(jié)點(diǎn)y_t、步驟(3.3)得到的第一梯度支節(jié)點(diǎn)g_t⁽¹⁾、步驟(3.4)得到的第二梯度支節(jié)點(diǎn)g_t⁽²⁾和步驟(3.5)得到的第三梯度支節(jié)點(diǎn)g_t⁽³⁾求和，得到當(dāng)前梯度節(jié)點(diǎn)g_t：

g_t＝y(tǒng)_t+g_t⁽¹⁾+g_t⁽²⁾+g_t⁽³⁾

(3.7)根據(jù)步驟(3.6)得到的梯度節(jié)點(diǎn)g_t得到共軛梯度節(jié)點(diǎn)d_t：

其中，T為預(yù)設(shè)的迭代次數(shù)，β_t-1是標(biāo)量；

(3.8)根據(jù)步驟(3.7)得到的共軛梯度節(jié)點(diǎn)d_t更新節(jié)點(diǎn)：

y_t+1＝y(tǒng)_t+α_td_t

其中，α_t是標(biāo)量；

(3.9)重復(fù)執(zhí)行步驟(3.3)～(3.8)，每次迭代后更新t＝t+1，直到經(jīng)過T次迭代后得到節(jié)點(diǎn)y_T；

(3.10)通過下式得到第k個(gè)牛頓共軛梯度模塊的輸出，作為第k+1個(gè)牛頓共軛梯度模塊的輸入x_k+1：

x_k+1＝ReLU(x_k+y_T)

其中，ReLU是激活函數(shù)；

步驟4，對(duì)步驟1獲取的人臉圖像數(shù)據(jù)做預(yù)處理；

步驟5，確定網(wǎng)絡(luò)訓(xùn)練的超參數(shù)；

步驟6，進(jìn)行網(wǎng)絡(luò)訓(xùn)練；

利用步驟4預(yù)處理后的人臉圖像數(shù)據(jù)，對(duì)步驟3得到的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行訓(xùn)練，直至損失函數(shù)的值趨近于收斂時(shí)停止訓(xùn)練；訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)用于人臉識(shí)別，判斷輸入人臉圖像的標(biāo)簽。