[發(fā)明專利]一種全連接神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

有效

• 申請(qǐng)?zhí)枺?/td>: 201410442680.2
• 申請(qǐng)日: 2014-09-02
• 公開（公告）號(hào): CN105373829B
• 公開（公告）日: 2018-05-04
• 發(fā)明（設(shè)計(jì)）人: 黃鐵軍
• 申請(qǐng)（專利權(quán)）人: 北京大學(xué)
• 主分類號(hào): G06N3/08
• 分類號(hào): G06N3/08
• 代理公司: 北京布瑞知識(shí)產(chǎn)權(quán)代理有限公司11505
• 代理人: 楊晞

技術(shù)領(lǐng)域

本發(fā)明涉及神經(jīng)網(wǎng)絡(luò)構(gòu)造技術(shù)，特別涉及一種全連接神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

技術(shù)背景

人類大腦的神經(jīng)網(wǎng)絡(luò)由近千億個(gè)神經(jīng)元組成，每個(gè)神經(jīng)元通過樹突或軸突相連接。當(dāng)神經(jīng)元收到刺激時(shí)，該神經(jīng)元通過樹突或軸突末端的突觸將刺激信號(hào)傳遞給其他神經(jīng)元，所有神經(jīng)元刺激信號(hào)的抽象集合使得人腦產(chǎn)生邏輯思維等智能行為。而如何通過人工硬件模擬大腦神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)一直是人工智能領(lǐng)域的一個(gè)研究難題。

近年來，深度學(xué)習(xí)作為一種行之有效的神經(jīng)網(wǎng)絡(luò)方法興起，得到了廣泛研究和應(yīng)用。深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)是一種多層神經(jīng)元結(jié)構(gòu)，相鄰兩層神經(jīng)元之間通過全連接的方式互聯(lián)。深度學(xué)習(xí)方法的有效性與網(wǎng)絡(luò)規(guī)模(包括神經(jīng)元數(shù)量和連接數(shù)量)相關(guān)，具有實(shí)際應(yīng)用價(jià)值的深度學(xué)習(xí)網(wǎng)絡(luò)連接規(guī)模達(dá)到百億(10G)以上，而人腦新皮層的連接(突觸)數(shù)量達(dá)到150T(150萬億)。

現(xiàn)有技術(shù)中可基于CPU或CPU和GPU的結(jié)合來模擬人腦神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，目前很多深度學(xué)習(xí)算法實(shí)現(xiàn)就是采用這種方案。由于CPU只能夠進(jìn)行串行計(jì)算，因此單純使用CPU來模擬人腦神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，其設(shè)備成本巨大且運(yùn)算效率很低。2012年6月，Google公司的Google Brain項(xiàng)目用16000臺(tái)電腦搭建模擬了一個(gè)人腦神經(jīng)網(wǎng)絡(luò)，連接數(shù)量達(dá)到10億。2013年斯坦福大學(xué)在一項(xiàng)研究中，使用了16臺(tái)服務(wù)器實(shí)現(xiàn)了100億網(wǎng)絡(luò)連接，每個(gè)服務(wù)器包含兩個(gè)四核CPU、四個(gè)GPU和一個(gè)帶寬適配器來模擬人腦神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，利用了GPU的并行運(yùn)行功能，該模擬系統(tǒng)的運(yùn)算效率相對(duì)于之前的CPU模擬有所提高，然而這樣一個(gè)模擬系統(tǒng)的花費(fèi)也在2萬美元。如果用這種方案實(shí)現(xiàn)人腦新皮層規(guī)模的神經(jīng)網(wǎng)絡(luò)，成本至少需要3億美元，這還不考慮互聯(lián)很功耗成本。因此，采用CPU和GPU等傳統(tǒng)計(jì)算體系不是解決深度學(xué)習(xí)方法應(yīng)用的有效途徑。

此外，無論是基于CPU還是基于CPU和GPU的結(jié)合，其人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)的運(yùn)轉(zhuǎn)還是要依靠計(jì)算機(jī)程序來模擬人腦神經(jīng)網(wǎng)絡(luò)的深層學(xué)習(xí)過程。即若脫離了計(jì)算機(jī)程序的控制，現(xiàn)有技術(shù)中單純依靠硬件系統(tǒng)無法模擬人腦神經(jīng)網(wǎng)絡(luò)的活動(dòng)過程。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明實(shí)施例提供了一種全連接神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)現(xiàn)低成本的人腦神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

本發(fā)明實(shí)施例提供的一種全連接神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，包括：至少兩個(gè)全連接神經(jīng)網(wǎng)絡(luò)層，其中：

每一層全連接神經(jīng)網(wǎng)絡(luò)層由輸入導(dǎo)線層、輸出導(dǎo)線層和位于其中的塑性器件層構(gòu)成，輸入導(dǎo)線層和輸出導(dǎo)線層分別包括至少一根導(dǎo)線，且輸入、輸出兩層導(dǎo)線層的導(dǎo)線縱橫交叉，塑性器件位于縱橫交叉點(diǎn)處，分別與輸入、輸出導(dǎo)線層連接；輸出導(dǎo)線層中每一根導(dǎo)線的末端連接一神經(jīng)元模擬器；

所述至少兩個(gè)全連接神經(jīng)網(wǎng)絡(luò)層依次連接，將上一個(gè)全連接神經(jīng)網(wǎng)絡(luò)層的輸出作為下一個(gè)全連接神經(jīng)網(wǎng)絡(luò)層的輸入，以形成深度學(xué)習(xí)網(wǎng)絡(luò)。

利用本發(fā)明實(shí)施例提供的全連接神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，通過塑性器件作為上、下層刺激的傳遞媒介(突觸)，既可以模擬人腦神經(jīng)反應(yīng)曲線，又因?yàn)樗苄云骷哪苄。杀镜停沟美盟苄云骷?gòu)成的全連接深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)成為現(xiàn)實(shí)，相比于現(xiàn)有技術(shù)構(gòu)建的全連接神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，成本可以降低五個(gè)數(shù)量級(jí)。因此，也只有采用這種新的結(jié)構(gòu)，人腦規(guī)模的模擬才能成為可能。

另外，本發(fā)明實(shí)施例提供的全連接神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，結(jié)構(gòu)規(guī)整，便于利用成熟的集成電路生產(chǎn)工藝進(jìn)行大規(guī)模生產(chǎn)制造，其連接數(shù)量能夠達(dá)到甚至超越人類大腦的神經(jīng)突觸數(shù)量。

附圖說明

圖1是本發(fā)明一實(shí)施例提供的一種全連接神經(jīng)網(wǎng)絡(luò)層的結(jié)構(gòu)示意圖。

圖2是本發(fā)明一實(shí)施例提供的一種全連接神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的結(jié)構(gòu)示意圖。

圖3是本發(fā)明一實(shí)施例提供的一種全連接神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的結(jié)構(gòu)示意圖。

圖4是本發(fā)明一實(shí)施例提供的一種全連接神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的結(jié)構(gòu)示意圖。

具體實(shí)施方式

為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步的詳細(xì)描述。

圖1是本發(fā)明一實(shí)施例提供的一種全連接神經(jīng)網(wǎng)絡(luò)層的結(jié)構(gòu)示意圖。如圖1所示，該全連接神經(jīng)網(wǎng)絡(luò)層包括輸入導(dǎo)線層1、輸出導(dǎo)線層2和位于兩層導(dǎo)線層1、2之間的塑性器件層3。導(dǎo)線層1和導(dǎo)線層2均由多根并行排列的導(dǎo)線構(gòu)成，且導(dǎo)線層1和導(dǎo)線2縱橫交叉。其中，上層導(dǎo)線層2通過塑性器件層3與下層導(dǎo)線層1實(shí)現(xiàn)全連接。