[發(fā)明專利]深度非線性主成分分析網(wǎng)絡(luò)的訓(xùn)練方法、裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201711395499.0
• 申請(qǐng)日: 2017-12-21
• 公開（公告）號(hào): CN108122028A
• 公開（公告）日: 2018-06-05
• 發(fā)明（設(shè)計(jì)）人: 喬宇;王亞立
• 申請(qǐng)（專利權(quán)）人: 深圳先進(jìn)技術(shù)研究院
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/08
• 代理公司: 深圳中一專利商標(biāo)事務(wù)所 44237
• 代理人: 官建紅

本發(fā)明提供了一種深度非線性主成分分析網(wǎng)絡(luò)的訓(xùn)練方法、裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中方法包括：獲取深度非線性主成分分析網(wǎng)絡(luò)；利用主成分分析網(wǎng)絡(luò)進(jìn)行前向傳播，對(duì)輸入數(shù)據(jù)進(jìn)行逐層編碼，求解出各層的輸入值與其估計(jì)值之間的重構(gòu)誤差；從主成分分析網(wǎng)絡(luò)的最后一層開始逐層進(jìn)行反向回傳，計(jì)算整個(gè)網(wǎng)絡(luò)的重構(gòu)誤差之和對(duì)于各層權(quán)重的梯度；根據(jù)整個(gè)網(wǎng)絡(luò)的重構(gòu)誤差之和對(duì)于各層權(quán)重的梯度，計(jì)算出深度非線性主成分分析網(wǎng)絡(luò)的權(quán)重矩陣；根據(jù)權(quán)重矩陣對(duì)主成分分析網(wǎng)路進(jìn)行參數(shù)更新，并返回利用主成分分析網(wǎng)絡(luò)對(duì)輸入數(shù)據(jù)進(jìn)行前向傳播的過程，直至整個(gè)神經(jīng)網(wǎng)絡(luò)的重構(gòu)誤差之和下降到收斂為止。本發(fā)明可以對(duì)復(fù)雜的數(shù)據(jù)提取高度有效的特征。

技術(shù)領(lǐng)域

本發(fā)明屬于數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種深度非線性主成分分析網(wǎng)絡(luò)的訓(xùn)練方法、裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

在高維數(shù)據(jù)爆炸式增長(zhǎng)的今天，無論是在圖像、視頻、多媒體處理或是在網(wǎng)絡(luò)數(shù)據(jù)相關(guān)性分析、搜索、生物醫(yī)學(xué)圖像和生物信息領(lǐng)域中，數(shù)據(jù)的維數(shù)都達(dá)到了上千甚至上億的級(jí)別，樣本數(shù)量也達(dá)到了相同的數(shù)量級(jí)。在數(shù)據(jù)高維數(shù)、大規(guī)模的背景下，特征提取和降維就顯得尤為重要。主成分分析(Principle Component Analysis，PCA)是迄今為止應(yīng)用最廣泛的降維工具，也是最重要的機(jī)器學(xué)習(xí)算法之一，它通過一組正交變換將原本存在相關(guān)性的變量，去相關(guān)轉(zhuǎn)化為一組線性不相關(guān)的變量，即主成分，PCA算法得到的低階主成分中包含了數(shù)據(jù)中大部分的信息和最重要的特征，通過保留低階主成分，PCA算法在特征提取、特征壓縮方面擁有極其優(yōu)良的特性，使得它在各領(lǐng)域得到了廣泛的應(yīng)用。

傳統(tǒng)的主成分分析算法通過對(duì)輸入變量X的協(xié)方差矩陣進(jìn)行特征值分解來求取主成分所在的方向，這需要一次性獲取輸入數(shù)據(jù)中的所有樣本，但是在大規(guī)模數(shù)據(jù)集的應(yīng)用中，每次通常只能獲取輸入變量X的部分觀測(cè)值，因此自適應(yīng)求取算法計(jì)算主成分就顯得尤為重要。最早出現(xiàn)的自適應(yīng)主成分提取算法是Oja提出的單一神經(jīng)元Hebb學(xué)習(xí)主成分分析器，該算法只能用于線性地提取第一主成分，它為基于神經(jīng)網(wǎng)絡(luò)的主成分分析算法奠定了基礎(chǔ)。隨后出現(xiàn)了大量的關(guān)于神經(jīng)網(wǎng)絡(luò)自適應(yīng)地線性地提取多個(gè)主成分的算法，其中比較具有代表性的是Oja和Karhunen等人提出的對(duì)稱子空間學(xué)習(xí)規(guī)則，該算法對(duì)單一神經(jīng)元分析器拓展到單層神經(jīng)網(wǎng)絡(luò)，采用梯度下降法達(dá)到了求解m個(gè)主成分地目標(biāo)，但是該算法求取的m個(gè)主成分不能嚴(yán)格收斂到實(shí)際的主成分方向；之后Sanger等人提出了廣義Hebb算法，該算法將對(duì)稱子空間的離散學(xué)習(xí)規(guī)則進(jìn)行改進(jìn)，只保留矩陣y(k)y^T(k)的下三角部分，從而使得m個(gè)主成分可以收斂到實(shí)際主成分方向、并按方差從大到小的順序排列；為了提高收斂速度，Oja等人提出了隨機(jī)梯度上升算法；為了使模型可以生長(zhǎng)和收縮，Kung等人提出了基于反Hebb學(xué)習(xí)的自適應(yīng)主成分提取算法，該算法增加了神經(jīng)元之間的側(cè)向連接。但是這些基于單層線性神經(jīng)網(wǎng)絡(luò)的自適應(yīng)主成分分析算法，只能進(jìn)行簡(jiǎn)單的線性映射，而且只對(duì)呈高斯分布這類簡(jiǎn)單分布的數(shù)據(jù)有較好的效果，這使得主成分分析在實(shí)際應(yīng)用中受到了極大的局限。

為了解決線性映射的局限，非線性PCA和魯棒PCA算法應(yīng)運(yùn)而生。其中比較典型的是Karhunen等人提出的兩種非線性主成分分析算法，第一種采用單層非線性的神經(jīng)網(wǎng)絡(luò)模型，在每個(gè)神經(jīng)元之后加入了一個(gè)非線性變換，通過最小化輸入變量和經(jīng)過非線性變化之后的估計(jì)值之間的重構(gòu)誤差，求取各神經(jīng)元的權(quán)重向量；第二種算法在保證權(quán)重向量相互正交的前提下、最大化關(guān)于方差的非線性函數(shù)f(var(Wx))，采用梯度下降法求取神經(jīng)元的權(quán)重W。