[發(fā)明專利]一種深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)算法

在審

• 申請?zhí)枺?/td>: 201611131888.8
• 申請日: 2016-12-09
• 公開（公告）號: CN106599996A
• 公開（公告）日: 2017-04-26
• 發(fā)明（設(shè)計(jì)）人: 竇曉光;劉立;許建衛(wèi)
• 申請（專利權(quán)）人: 曙光信息產(chǎn)業(yè)（北京）有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 北京德恒律治知識(shí)產(chǎn)權(quán)代理有限公司11409
• 代理人: 章社杲,盧軍峰

技術(shù)領(lǐng)域

本發(fā)明涉及深度學(xué)習(xí)算法的技術(shù)領(lǐng)域，具體涉及一種自適應(yīng)稀疏連接深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)算法。

背景技術(shù)

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)研究中的一個(gè)新的領(lǐng)域，其動(dòng)機(jī)在于建立、模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，它模仿人腦的機(jī)制來解釋數(shù)據(jù)，例如圖像，聲音和文本。其概念由Hinton等人于2006年提出。基于深度置信網(wǎng)絡(luò)(DBN)提出非監(jiān)督貪心逐層訓(xùn)練算法，為解決深層結(jié)構(gòu)相關(guān)的優(yōu)化難題帶來希望，隨后提出多層自動(dòng)編碼器深層結(jié)構(gòu)。此外Lecun等人提出的卷積神經(jīng)網(wǎng)絡(luò)是第一個(gè)真正多層結(jié)構(gòu)學(xué)習(xí)算法，它利用空間相對關(guān)系減少參數(shù)數(shù)目以提高訓(xùn)練性能。

深度神經(jīng)網(wǎng)絡(luò)是一種具備至少一個(gè)隱層的神經(jīng)網(wǎng)絡(luò)。與淺層神經(jīng)網(wǎng)絡(luò)類似，深度神經(jīng)網(wǎng)絡(luò)也能夠?yàn)閺?fù)雜非線性系統(tǒng)提供建模，但多出的層次為模型提供了更高的抽象層次，因而提高了模型的能力。圖1為深度神經(jīng)全連接網(wǎng)絡(luò)中各網(wǎng)絡(luò)層之間的連接示意圖，從圖中可以看出，全連接網(wǎng)絡(luò)意味著上一層中的每一個(gè)神經(jīng)元都和下一層的任何神經(jīng)元有連接關(guān)系。這是最早使用，也是普遍有效、應(yīng)用最廣的一種連接方式。然而，這種連接方式的最大缺陷是：計(jì)算量與內(nèi)存消耗量都十分巨大，效率低。為此，很多學(xué)者，提出了一些稀疏連接算法，試圖改善這個(gè)問題，表1是一個(gè)典型的卷積稀疏連接表：

表1

必須說明的是，上述工作的初衷其實(shí)更多的只是為了改善精度，減小計(jì)算開銷只是一個(gè)副產(chǎn)品。因?yàn)閷τ诤芏嗑唧w問題，全連接關(guān)系雖然可以拿來直接使用，但是并非最好的一種。這和現(xiàn)實(shí)物理世界問題，關(guān)聯(lián)往往具有局部性密切相關(guān)。

事實(shí)上，大量的問題都可以通過這種途徑來有針對的改進(jìn)。然而，我們的出發(fā)點(diǎn)則不是精度，而是更多的關(guān)注計(jì)算效率。通過改變連接關(guān)系來提高計(jì)算效率，但是對于精度，不會(huì)有損害，至少不會(huì)降低太多。

發(fā)明內(nèi)容

針對相關(guān)技術(shù)中存在的不足，本發(fā)明所要解決的技術(shù)問題在于：提供一種既能提高計(jì)算效率，又能保證計(jì)算精度的自適應(yīng)稀疏連接深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)算法。

為解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案為：一種深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)算法，確定各網(wǎng)絡(luò)層之間的連接關(guān)系時(shí)，包括以下步驟：S101、從待訓(xùn)練數(shù)據(jù)中收集原數(shù)據(jù)的一個(gè)子集；S102、利用樣本數(shù)據(jù)進(jìn)行全連接訓(xùn)練，直到收斂；S103、設(shè)置一個(gè)閾值，得出稀疏連接表；S104、利用新的稀疏連接表對原數(shù)據(jù)進(jìn)行計(jì)算。

優(yōu)選地，步驟S101中，收集原數(shù)據(jù)的一個(gè)子集時(shí)，采用的方式為隨機(jī)采樣。

優(yōu)選地，步驟S103，所述設(shè)置一個(gè)閾值，得出稀疏連接表之前，還包括：觀察計(jì)算獲得的網(wǎng)絡(luò)權(quán)值，比較同一網(wǎng)絡(luò)層內(nèi)的各種連接的權(quán)值大小。

本發(fā)明的有益技術(shù)效果在于：本發(fā)明主要利用權(quán)值的大小值來確定各層之間的連接關(guān)系，即從全連接關(guān)系自動(dòng)推導(dǎo)而來，因此能夠保證較高的精度，而由于采取了稀疏連接表來進(jìn)行計(jì)算，一方面極大的減小了計(jì)算量，另一方面，如果采用模型并行的話，則減少了大量通信，因此也提高了并行可擴(kuò)展性，進(jìn)而提高了計(jì)算效率。

附圖說明

圖1是深度神經(jīng)全連接網(wǎng)絡(luò)中各網(wǎng)絡(luò)層之間的連接示意圖；

圖2是本發(fā)明實(shí)施例一提供的一種深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)算法的流程示意圖。

具體實(shí)施方式

為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是本發(fā)明的一部分實(shí)施例，而不是全部的實(shí)施例；基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

圖2是本發(fā)明實(shí)施例一提供的一種深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)算法的流程示意圖，如圖2所示，一種深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)算法，確定各網(wǎng)絡(luò)層之間的連接關(guān)系時(shí)，包括以下步驟：

S101、從待訓(xùn)練數(shù)據(jù)中收集原數(shù)據(jù)的一個(gè)子集；

S102、利用樣本數(shù)據(jù)進(jìn)行全連接訓(xùn)練，直到收斂；

S103、設(shè)置一個(gè)閾值，得出稀疏連接表；

S104、利用新的稀疏連接表對原數(shù)據(jù)進(jìn)行計(jì)算。

具體地，步驟S101中，收集原數(shù)據(jù)的一個(gè)子集時(shí)，采用的方式為隨機(jī)采樣。

具體地，步驟S103，所述設(shè)置一個(gè)閾值，得出稀疏連接表之前，還包括：觀察計(jì)算獲得的網(wǎng)絡(luò)權(quán)值，比較同一網(wǎng)絡(luò)層內(nèi)的各種連接的權(quán)值大小。

下面通過一個(gè)示例來說明上述過程，假設(shè)某一網(wǎng)絡(luò)層的連接表如表2所示：

表2