[發(fā)明專利]深度非線性主成分分析網(wǎng)絡(luò)的訓(xùn)練方法、裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201711395499.0
• 申請(qǐng)日: 2017-12-21
• 公開（公告）號(hào): CN108122028A
• 公開（公告）日: 2018-06-05
• 發(fā)明（設(shè)計(jì)）人: 喬宇;王亞立
• 申請(qǐng)（專利權(quán)）人: 深圳先進(jìn)技術(shù)研究院
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/08
• 代理公司: 深圳中一專利商標(biāo)事務(wù)所 44237
• 代理人: 官建紅

1.一種深度非線性主成分分析網(wǎng)絡(luò)的訓(xùn)練方法，其特征在于，包括：

獲取深度非線性主成分分析網(wǎng)絡(luò)；

利用所述深度非線性主成分分析網(wǎng)絡(luò)進(jìn)行前向傳播，對(duì)輸入數(shù)據(jù)進(jìn)行逐層編碼，求解出各層的輸入值與其估計(jì)值之間的重構(gòu)誤差；

從所述深度非線性主成分分析網(wǎng)絡(luò)的最后一層開始逐層進(jìn)行反向回傳，計(jì)算整個(gè)神經(jīng)網(wǎng)絡(luò)的重構(gòu)誤差之和對(duì)于各層權(quán)重的梯度；

根據(jù)所述整個(gè)神經(jīng)網(wǎng)絡(luò)的重構(gòu)誤差之和對(duì)于各層權(quán)重的梯度，計(jì)算出所述深度非線性主成分分析網(wǎng)絡(luò)的權(quán)重矩陣；

根據(jù)所述權(quán)重矩陣對(duì)所述深度非線性主成分分析網(wǎng)路進(jìn)行參數(shù)更新，并返回所述利用所述深度非線性主成分分析網(wǎng)絡(luò)對(duì)輸入數(shù)據(jù)進(jìn)行前向傳播的過程，直至所述整個(gè)神經(jīng)網(wǎng)絡(luò)的重構(gòu)誤差之和下降到收斂為止。

2.如權(quán)利要求1所述的深度非線性主成分分析網(wǎng)絡(luò)的訓(xùn)練方法，其特征在于，所述利用所述深度非線性主成分分析網(wǎng)絡(luò)進(jìn)行前向傳播，對(duì)輸入數(shù)據(jù)進(jìn)行逐層編碼，求解出各層的輸入值與其估計(jì)值之間的重構(gòu)誤差包括：

令在利用所述深度非線性主成分分析網(wǎng)絡(luò)對(duì)所述輸入數(shù)據(jù)進(jìn)行前向傳播的過程中，所述輸入數(shù)據(jù)所對(duì)應(yīng)的第i層的輸入值為x_i，經(jīng)該層編碼后的激活值x_i+1＝f(W_ix_i)，那么第i層的輸入值與其估計(jì)值之間的重構(gòu)誤差表示為：

L ( W i ) = 1 2 | | x i - W i T x i + 1 | | F 2 ; ]]>

其中，x_i表示所述輸入數(shù)據(jù)經(jīng)前向傳播后在所述深度非線性主成分分析網(wǎng)絡(luò)中第i層的輸入值，W_i表示所述深度非線性主成分分析網(wǎng)絡(luò)中第i層的權(quán)重，f(W_ix_i)表示所述深度非線性主成分分析網(wǎng)絡(luò)中第i層的激勵(lì)函數(shù)，L(W_i)表示第i層的輸入值與其估計(jì)值之間的重構(gòu)誤差，i為正整數(shù)。