[發(fā)明專利]一種計(jì)算機(jī)智能識(shí)別的深層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201610100209.4
• 申請(qǐng)日: 2016-02-23
• 公開(kāi)（公告）號(hào): CN105787557B
• 公開(kāi)（公告）日: 2019-04-19
• 發(fā)明（設(shè)計(jì)）人: 李玉鑑;楊紅麗;時(shí)康凱
• 申請(qǐng)（專利權(quán)）人: 北京工業(yè)大學(xué)
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/08
• 代理公司: 北京思海天達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11203
• 代理人: 沈波

1.一種計(jì)算機(jī)智能識(shí)別的深層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)方法，主成分分析是一種能夠極大提升無(wú)監(jiān)督特征學(xué)習(xí)速度的數(shù)據(jù)降維算法；對(duì)于圖像而言，由于相鄰像素間的相關(guān)性，主成分分析算法可以將輸入矩陣轉(zhuǎn)換為一個(gè)維數(shù)低很多的近似矩陣，而且誤差非常??；這就使得可以使用更少的數(shù)據(jù)表示同一個(gè)事物，降低數(shù)據(jù)維度；同時(shí)可以最大限度的保留原有數(shù)據(jù)的內(nèi)部結(jié)構(gòu)和分布；

深度學(xué)習(xí)的基本思想就是假設(shè)有一個(gè)系統(tǒng)S，它有n層即S1,…Sn，它的輸入是I，輸出是O，形象地表示為：I＝>S1＝>S2＝>…..＝>Sn＝>O，如果輸出O等于輸入I，即輸入I經(jīng)過(guò)這個(gè)系統(tǒng)變化之后保持不變，這意味著輸入I經(jīng)過(guò)每一層Si都沒(méi)有任何的信息損失，即在任何一層Si，它都是原有信息即輸入I的另外一種表示；所以在深層神經(jīng)網(wǎng)絡(luò)中，通過(guò)調(diào)整系統(tǒng)中參數(shù)，使得它的輸出O仍然是輸入I，那么就可以自動(dòng)地獲取得到輸入I的一系列層次特征，即S1，…,Sn；通過(guò)這種方式，就可以實(shí)現(xiàn)對(duì)輸入信息進(jìn)行分級(jí)表達(dá)了；

所以，對(duì)圖片和語(yǔ)音數(shù)據(jù)多次進(jìn)行主成分分析的思想和深度學(xué)習(xí)的思想在一定程度上是吻合的，每次對(duì)數(shù)據(jù)進(jìn)行主成分分析后得到的新的矩陣和深層神經(jīng)網(wǎng)絡(luò)中每層神經(jīng)元都是對(duì)輸入數(shù)據(jù)的不同表示形式，兩者有很大的相似性；本方法正是基于此原理提出了一種應(yīng)用在計(jì)算機(jī)視覺(jué)和語(yǔ)音識(shí)別領(lǐng)域中深層神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計(jì)方法；

其特征在于：該方法包括以下步驟，

步驟1，人工選定計(jì)算機(jī)智能識(shí)別的深層神經(jīng)網(wǎng)絡(luò)初始層數(shù)L為4，即包括輸入層、第一個(gè)隱含層、第二個(gè)隱含層和輸出層，所述智能識(shí)別包括計(jì)算機(jī)視覺(jué)識(shí)別和語(yǔ)音識(shí)別；

步驟2，計(jì)算機(jī)視覺(jué)識(shí)別的圖片或計(jì)算機(jī)語(yǔ)音識(shí)別的語(yǔ)音作為訓(xùn)練樣本集，將訓(xùn)練樣本集轉(zhuǎn)化為矩陣的形式即Y₀＝{Y₀₁,Y₀₂,...,Y_0p}，其中Y₀₁,Y₀₂,...,Y_0p分別代表一個(gè)樣本，共p個(gè)樣本，p取正整數(shù)，每個(gè)樣本維數(shù)為d；

步驟3，定義輸入層神經(jīng)元個(gè)數(shù)為訓(xùn)練樣本的維數(shù)d；

步驟4，如果訓(xùn)練樣本集是圖片且取值范圍在(0,255)之間，需要將訓(xùn)練樣本進(jìn)行歸一化操作，否則直接進(jìn)行下一步操作；如果訓(xùn)練樣本集是語(yǔ)音，則直接進(jìn)行下一步操作；

步驟5，訓(xùn)練樣本集Y₀為第一個(gè)隱含層的輸入矩陣，通過(guò)對(duì)輸入矩陣Y₀做主成分分析確定第一個(gè)隱含層神經(jīng)元的個(gè)數(shù)HN₁，主成分分析算法的具體計(jì)算過(guò)程如下：

S5.1輸入矩陣表示為Y_i＝{Y_i1,Y_i2,...,Y_ip}，0≤i≤L-1，其中Y_i代表不同隱含層的輸入矩陣，Y_i的維數(shù)為變量n；

S5.2輸入矩陣去均值化：

其中

S5.3計(jì)算輸入矩陣Y_i的協(xié)方差矩陣：

1≤k≤p，其中Y_i＝{Y_i1,Y_i2,...,Y_ip},Y_ik∈Y_i，T為矩陣的轉(zhuǎn)置操作；

S5.4計(jì)算Y_i的協(xié)方差矩陣的特征根和特征向量：

求得特征根λ_i1,λ_i2,...,λ_in及相應(yīng)的單位化特征向量ξ_i1,ξ_i2,...,ξ_in；

S5.5根據(jù)各個(gè)特征根即主成分累計(jì)貢獻(xiàn)率的大小選取前m個(gè)最大特征根，這里貢獻(xiàn)率就是指某個(gè)特征根占全部特征根合計(jì)的比重，即

λ_ij代表矩陣Y_i的協(xié)方差矩陣求得的各個(gè)特征根，貢獻(xiàn)率越大說(shuō)明該主成分所包含的原始數(shù)據(jù)的信息越強(qiáng)，要求累計(jì)貢獻(xiàn)率達(dá)到85％—100％以保證原始數(shù)據(jù)的絕大多數(shù)信息，選擇的m個(gè)最大特征根對(duì)應(yīng)的單位化特征向量ξ_i1,ξ_i2,...,ξ_im生成投影矩陣：

M_i＝(ξ_i1,ξ_i2,...,ξ_im)^T,M_i∈R^m×n，其中ξ_i1,ξ_i2,...,ξ_im代表Y_i的協(xié)方差矩陣的前m個(gè)最大特征向量；

S5.6對(duì)輸入矩陣Y_i進(jìn)行投影得到降維后的矩陣Y_i^*，矩陣的維數(shù)m即為第(i+1)層隱含層神經(jīng)元的個(gè)數(shù)HN_i+1＝m：

Y_i^*＝M_i×Y_i；

步驟6，降維后的矩陣經(jīng)過(guò)非線性變換函數(shù)f作用產(chǎn)生第一層隱含層的輸出矩陣Y₁，f為sigmoid函數(shù)或tanh函數(shù)或ReLu函數(shù)：

步驟7，第二個(gè)隱含層輸入矩陣即為第一個(gè)隱含層的輸出矩陣Y₁，通過(guò)對(duì)輸入矩陣Y₁做主成分分析確定第二個(gè)隱含層神經(jīng)元的個(gè)數(shù)HN₂；

步驟8，輸出層神經(jīng)元的個(gè)數(shù)為標(biāo)記類的個(gè)數(shù)；

步驟9，利用圖像或語(yǔ)音的訓(xùn)練數(shù)據(jù)對(duì)深層神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行測(cè)評(píng)；

步驟10，如果測(cè)評(píng)結(jié)果不理想，調(diào)整深層神經(jīng)網(wǎng)絡(luò)的層數(shù)L＝L+1,4≤L≤1000，增加一層隱含層，第i層降維后的矩陣Y_i^*經(jīng)過(guò)非線性變換函數(shù)f作用產(chǎn)生第(i+1)層隱含層的輸入矩陣Y_i+1，公式表達(dá)為Y_i+1＝f(Y_i^*),2≤i≤L-2，通過(guò)對(duì)輸入矩陣Y_i+1做主成分分析即可確定第(i+1)層隱含層神經(jīng)元的個(gè)數(shù)HN_i；

步驟11，重復(fù)步驟9和10，不斷調(diào)整網(wǎng)絡(luò)層數(shù)并訓(xùn)練深層網(wǎng)絡(luò)，直到取得良好的實(shí)驗(yàn)效果，確定深層神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)為輸入層、第一個(gè)隱含層、第二個(gè)隱含層...、第(L-2)個(gè)隱含層、輸出層。