[發(fā)明專利]一種計(jì)算機(jī)智能識(shí)別的深層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201610100209.4
• 申請(qǐng)日: 2016-02-23
• 公開（公告）號(hào): CN105787557B
• 公開（公告）日: 2019-04-19
• 發(fā)明（設(shè)計(jì)）人: 李玉鑑;楊紅麗;時(shí)康凱
• 申請(qǐng)（專利權(quán)）人: 北京工業(yè)大學(xué)
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/08
• 代理公司: 北京思海天達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11203
• 代理人: 沈波

一種計(jì)算機(jī)智能識(shí)別的深層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)方法，對(duì)于圖像而言，由于相鄰像素間的相關(guān)性，這就使得可以使用更少的數(shù)據(jù)表示同一個(gè)事物，降低數(shù)據(jù)維度。選定網(wǎng)絡(luò)初始層數(shù)；輸入層神經(jīng)元個(gè)數(shù)為訓(xùn)練樣本維數(shù)；是否需要?dú)w一化；訓(xùn)練樣本做主成分分析確定第一個(gè)隱含層神經(jīng)元個(gè)數(shù)；確定第二層隱含層神經(jīng)元個(gè)數(shù)；訓(xùn)練網(wǎng)絡(luò)，測(cè)評(píng)網(wǎng)絡(luò)結(jié)構(gòu)；結(jié)果不理想時(shí)增加一個(gè)隱含層，將上一層降維后的矩陣經(jīng)過非線性變換函數(shù)作用后做主成分分析確定該隱含層神經(jīng)元個(gè)數(shù)并訓(xùn)練網(wǎng)絡(luò)，重復(fù)試驗(yàn)，直到取得良好效果。本發(fā)明解決了深層神經(jīng)網(wǎng)絡(luò)中結(jié)構(gòu)設(shè)計(jì)的隨機(jī)性、盲目性和不穩(wěn)定性，大大提高了深層神經(jīng)網(wǎng)絡(luò)訓(xùn)練的速度和學(xué)習(xí)能力，為深層神經(jīng)網(wǎng)絡(luò)的發(fā)展奠定基礎(chǔ)。

技術(shù)領(lǐng)域

本發(fā)明屬于機(jī)器學(xué)習(xí)中的深度學(xué)習(xí)部分。具體內(nèi)容是應(yīng)用在計(jì)算機(jī)視覺和語音識(shí)別領(lǐng)域中深層神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計(jì)方法。

背景技術(shù)

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域一個(gè)新的研究方向，近年來在語音識(shí)別、計(jì)算機(jī)視覺等多類應(yīng)用中取得突破性的進(jìn)展。其動(dòng)機(jī)在于建立模型模擬人類大腦的神經(jīng)連接結(jié)構(gòu)，在處理圖像、聲音和文本這些信號(hào)時(shí)，通過多個(gè)變換階段分層對(duì)數(shù)據(jù)特征進(jìn)行描述，進(jìn)而給出數(shù)據(jù)的解釋。深度學(xué)習(xí)之所以被稱為“深度”，是相對(duì)支持向量機(jī)(supportvector machine，SVM)、提升方法(boosting)、最大熵方法等“淺層學(xué)習(xí)”方法而言的，深度學(xué)習(xí)所學(xué)到的模型中，非線性操作的層級(jí)數(shù)更多。淺層學(xué)習(xí)依靠人工經(jīng)驗(yàn)抽取樣本特征，網(wǎng)絡(luò)模型學(xué)習(xí)后獲得的是沒有層次結(jié)構(gòu)的單層特征；而深度學(xué)習(xí)通過對(duì)原始信號(hào)進(jìn)行逐層特征變換，將樣本在原空間的特征表示變換到新的特征空間，自動(dòng)地學(xué)習(xí)得到層次化的特征表示，從而更有利于分類或特征的可視化。

深度學(xué)習(xí)可以完成需要高度抽象特征的人工智能任務(wù)，如語音識(shí)別、圖像識(shí)別和檢索、自然語言理解等。深層模型是包含多個(gè)隱含層的人工神經(jīng)網(wǎng)絡(luò)，多層非線性結(jié)構(gòu)使其具備強(qiáng)大的特征表達(dá)能力和對(duì)復(fù)雜任務(wù)建模能力。訓(xùn)練深層模型是長(zhǎng)期以來的難題，近年來以層次化、逐層初始化為代表的一系列方法的提出給訓(xùn)練深層模型帶來了希望，并在多個(gè)應(yīng)用領(lǐng)域獲得了成功。深度學(xué)習(xí)是目前最接近人腦的智能學(xué)習(xí)方法，深度學(xué)習(xí)引爆的這場(chǎng)革命，將人工智能帶上了一個(gè)新的臺(tái)階，將對(duì)一大批產(chǎn)品和服務(wù)產(chǎn)生深遠(yuǎn)影響。深度學(xué)習(xí)嘗試解決人工智能中抽象認(rèn)知的難題，從理論分析和應(yīng)用方面都獲得了很大的成功。

計(jì)算機(jī)視覺和語音識(shí)別領(lǐng)域中深層神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計(jì)一個(gè)非常重要并且一直未能得到很好解決的問題?，F(xiàn)有應(yīng)用在計(jì)算機(jī)視覺和語音識(shí)別中的深層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)一般由實(shí)驗(yàn)者經(jīng)驗(yàn)和實(shí)驗(yàn)結(jié)果衡量，實(shí)驗(yàn)結(jié)果難以估計(jì)，需要不斷地通過實(shí)驗(yàn)來驗(yàn)證，浪費(fèi)了大量的時(shí)間和資源。這樣設(shè)計(jì)的深層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)有很大的隨機(jī)性和盲目性，為網(wǎng)絡(luò)模型的構(gòu)建造成很大的困難，結(jié)構(gòu)不同對(duì)實(shí)驗(yàn)結(jié)果的影響也很難預(yù)測(cè)?？梢哉f，目前在計(jì)算機(jī)視覺和語音識(shí)別中的深層神經(jīng)網(wǎng)絡(luò)模型還沒有一個(gè)統(tǒng)一且準(zhǔn)確的確定結(jié)構(gòu)的方法，這就使得深層神經(jīng)網(wǎng)絡(luò)模型只對(duì)特定的圖片和語音數(shù)據(jù)集以及特定的環(huán)境有很好的學(xué)習(xí)能力，但是這樣的網(wǎng)絡(luò)模型并不能很好的推廣到所有情況。

目前，深度學(xué)習(xí)中應(yīng)用在計(jì)算機(jī)視覺和語音識(shí)別領(lǐng)域的主要深層神經(jīng)網(wǎng)絡(luò)模型有：

1.自動(dòng)編碼器(AutoEncoder，AE)，主要利用人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)，人工神經(jīng)網(wǎng)絡(luò)(ANN)本身就是具有層次結(jié)構(gòu)的系統(tǒng)。如果給定一個(gè)神經(jīng)網(wǎng)絡(luò)，假設(shè)其輸出與輸入是相同的，然后訓(xùn)練調(diào)整其參數(shù)，得到每一層中的權(quán)重。自然地，就得到了輸入I的幾種不同表示(每一層代表一種表示)，這些表示就是特征。自動(dòng)編碼器就是一種盡可能復(fù)現(xiàn)輸入信號(hào)的神經(jīng)網(wǎng)絡(luò)。為了實(shí)現(xiàn)這種復(fù)現(xiàn)，自動(dòng)編碼器就必須捕捉可以代表輸入數(shù)據(jù)的最重要的因素。

2.深信度神經(jīng)網(wǎng)絡(luò)(Deep BeliefNetworks，DBNs)，DBNs是一個(gè)概率生成模型，與傳統(tǒng)的判別模型的神經(jīng)網(wǎng)絡(luò)相對(duì)，生成模型是建立一個(gè)觀察數(shù)據(jù)和標(biāo)簽之間的聯(lián)合分布，對(duì)P(Observation|Label)和P(Label|Observation)都做了評(píng)估。DBNs由多個(gè)限制玻爾茲曼機(jī)(Restricted Boltzmann Machines)層組成。這些網(wǎng)絡(luò)被“限制”為一個(gè)可視層和一個(gè)隱層，層間存在連接，但層內(nèi)的單元間不存在連接。隱含層單元被訓(xùn)練去捕捉在可視層表現(xiàn)出來的高階數(shù)據(jù)的相關(guān)性。