[發(fā)明專利]神經網絡模型訓練系統(tǒng)和方法

有效

• 申請?zhí)枺?/td>: 201510368328.3
• 申請日: 2015-06-26
• 公開（公告）號: CN104978601B
• 公開（公告）日: 2017-08-25
• 發(fā)明（設計）人: 郭志懋;鄒永強;金涬;李毅
• 申請（專利權）人: 深圳市騰訊計算機系統(tǒng)有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 廣州華進聯(lián)合專利商標代理有限公司44224
• 代理人: 何平,鄧云鵬

技術領域

本發(fā)明涉及機器學習技術領域，特別是涉及一種神經網絡模型訓練系統(tǒng)和方法。

背景技術

神經網絡模型是一種模擬大腦結構的機器學習模型。在機器學習領域，神經網絡經常被用來對較復雜的任務建模。神經網絡的規(guī)模，包括深度和寬度都是可以調節(jié)的，視應用領域和問題規(guī)模而定。因為神經網絡超強的表達能力，在語音識別、圖像分類、人臉識別、自然語言處理、廣告投放等應用領域被廣泛應用。

神經網絡模型的結構包括多層，第一層是輸入層，最頂上一層是輸出層，中間包括零個或者多個隱含層，每一層包括一個或多個節(jié)點。輸入層規(guī)模根據(jù)輸入變量的數(shù)量決定，輸出層規(guī)模則取決于類別數(shù)目。隱含層包括多個神經元，調整神經元數(shù)量就可以調整神經網絡模型的復雜度和表達能力。一般來說，神經網絡越寬越深，其建模能力越強，但是訓練這個模型所花的代價也越高。

神經網絡模型的訓練過程，是根據(jù)訓練樣本的輸入和輸出，以迭代的方式對神經網絡中的各個參數(shù)值進行調整直至收斂的過程，也被稱為神經網絡的學習過程。在神經網絡模型的實際應用中，數(shù)據(jù)量越來越大，為了更好地從海量數(shù)據(jù)中挖掘模式和信息，需要建立大規(guī)模的神經網絡模型，比如在廣告領域，輸入維度的規(guī)模可能是上億級的，使得神經網絡模型的節(jié)點數(shù)量迅速增加。這樣導致一臺物理服務器的內存已經存放不下大規(guī)模的神經網絡模型，限制了神經網絡模型的規(guī)模，影響了神經網絡模型的性能。

發(fā)明內容

基于此，有必要針對目前物理設備的局限性導致限制了神經網絡模型規(guī)模的技術問題，提供了一種神經網絡模型訓練系統(tǒng)和方法。

一種神經網絡模型訓練系統(tǒng)，所述系統(tǒng)包括協(xié)調設備和預設數(shù)量的計算設備：

所述協(xié)調設備用于按神經網絡模型的層對各所述計算設備進行同步控制；

各所述計算設備用于在協(xié)調設備按神經網絡模型的層的同步控制下，根據(jù)輸入到神經網絡模型的訓練樣本，按照神經網絡模型的訓練順序，處理神經網絡模型中相應層中被劃分到各計算設備的節(jié)點，將處理節(jié)點所生成的數(shù)據(jù)發(fā)送給模型存儲設備或者與本設備節(jié)點相連接的下一層的節(jié)點所在的計算設備，直至對輸入的訓練樣本訓練結束。

一種神經網絡模型訓練方法，所述方法包括：

預設數(shù)量的計算設備在協(xié)調設備按神經網絡模型的層的同步控制下，根據(jù)輸入到神經網絡模型的訓練樣本，按照神經網絡模型的訓練順序，處理神經網絡模型中相應層中被劃分到各計算設備的節(jié)點，將處理節(jié)點所生成的數(shù)據(jù)發(fā)送給模型存儲設備或者與本設備節(jié)點相連接的下一層的節(jié)點所在的計算設備，直至對輸入的訓練樣本訓練結束。

上述神經網絡模型訓練系統(tǒng)和方法，將神經網絡模型的每層的節(jié)點進行拆分后分散到多個計算設備上，這樣每個計算設備僅處理神經網絡模型的一部分計算任務，可以根據(jù)神經網絡模型的規(guī)模靈活配置計算設備的數(shù)量，適用于各種大規(guī)模的神經網絡模型的訓練，解決了單個物理設備的局限性導致限制了神經網絡模型規(guī)模的問題。而且，協(xié)調設備按照神經網絡模型的層對各所述計算設備進行同步控制，這樣保證了各計算設備對各自節(jié)點的處理是按照層同步進行的，防止計算出錯的可能，提高了神經網絡模型訓練的可靠性。

附圖說明

圖1為一個實施例中神經網絡模型的結構示意圖；

圖2為一個實施例中神經網絡模型訓練系統(tǒng)的環(huán)境圖；

圖3為另一個實施例中神經網絡模型訓練系統(tǒng)的環(huán)境圖；

圖4為再一個實施例中神經網絡模型訓練系統(tǒng)的環(huán)境圖；

圖5為一個實施例中對神經網絡模型進行劃分的示意圖；

圖6為一個實施例中將神經網絡模型劃分到各計算設備的示意圖；

圖7為一個實施例中神經網絡模型訓練系統(tǒng)的環(huán)境圖；

圖8為一個實施例中神經網絡模型訓練方法的流程示意圖；

圖9為一個具體應用場景中神經網絡模型訓練方法的時序圖。

具體實施方式

為了使本發(fā)明的目的、技術方案及優(yōu)點更加清楚明白，以下結合附圖及實施例，對本發(fā)明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

在描述本發(fā)明具體實施例之前，先對神經網絡模型的訓練過程進行舉例說明。參照圖1，圖1示出了一個比較簡單的神經網絡模型。該神經網絡模型包括一個輸入層、兩個隱含層和一個輸出層。輸入層具有三個節(jié)點，分別為節(jié)點A0，節(jié)點A1和節(jié)點A2；第一個隱含層包括兩個節(jié)點，分別為節(jié)點B0和節(jié)點B1；第二個隱含層包括2個節(jié)點，分別為節(jié)點C0和節(jié)點C1。輸出層包括一個節(jié)點D0。