[發明專利]對神經網絡進行組織

有效

• 申請號: 201180017192.1
• 申請日: 2011-02-04
• 公開（公告）號: CN102859538A
• 公開（公告）日: 2013-01-02
• 發明（設計）人: H·馬克拉姆;R·德坎波斯佩林;T·K·伯格
• 申請（專利權）人: 洛桑聯邦理工學院(EPFL)
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京北翔知識產權代理有限公司 11285
• 代理人: 寧濤;張廣育

相關申請的交叉引用

根據美國法典第35篇第119條第(e)項，本申請要求享有2010年2月5日提交的第61/301,781號美國專利申請的權益，該美國專利申請的內容以引用的方式納入本文。

背景技術

本說明書涉及對訓練的和未訓練的神經網絡進行組織的方法，以及對神經網絡進行組織的方法。

神經網絡是受生物神經元網絡的結構和功能方面啟發的裝置。具體地，神經網絡使用被稱為“節點”的互連結構的系統來模擬生物神經元網絡的信息編碼和其他處理能力。神經網絡中節點之間連接的排列和強度決定神經網絡的信息處理或信息儲存的結果。

神經網絡可以被“訓練”以產生需要的網絡內信號流并且達到需要的信息處理或信息儲存的結果。一般來說，在學習過程中訓練神經網絡可改變節點間連接的排列和/或強度。當神經網絡達到對給出的輸入組有足夠合適的處理結果時，可以認為所述神經網絡是“訓練的”。

神經網絡可以用于多種不同的裝置中來進行非線性數據處理和分析。非線性數據處理不滿足疊加原理，即需要確定的變量不能表示為獨立成分的線性和。其中可用非線性數據處理的情況的實例包括模式和序列識別、新穎性檢測和序貫決策作出、復雜系統建模以及多種其他情況中的系統和技術。

發明內容

本說明書描述了對訓練的和未訓練的神經網絡進行組織的方法，以及對神經網絡進行組織的方法。對大鼠新皮質中生物神經元進行組織的研究已經給出了關于神經網絡中節點可以如何被有利地組織的線索。具有模擬大鼠新皮質中對生物神經元進行組織的互連的神經網絡可以被訓練以提高信息處理和/或信息儲存。

在本說明書所述的主題的第一個方面，神經網絡裝置可以在硬件、軟件或兩者的結合中實施。所述神經網絡裝置包括由集間連接互連的節點集的集合，每個節點集本身包括由多個集內連接互連的節點的網絡，其中每個集間連接和集內連接都有相關的權重，每個權重體現由相關連接連接的節點之間的連接強度，與連接到其他節點集內的節點相比，每個集內的節點更可能連接到該集內的其他節點。

在本說明書所述的主題的第二個方面，形成神經網絡裝置的機器實施方法包括，形成在硬件、軟件或兩者的結合中實施的節點網絡，通過以體現節點共有的共同鄰點數目的概率來連接或斷開節點而分配或再分配網絡節點間的連接。

這些方面和其他方面可以包括以下特征中的一個或多個。與集間連接相關的權重可以體現出于具體目的對神經裝置的訓練。集內連接可以體現出于具體目的對神經網絡裝置的訓練至比集間連接小的程度。可根據兩兩連接關系連接節點并形成節點集。對于具有更多連接數目的節點集，每個節點集內平均權重的方差通常減小。隨著各個節點集內連接數超過所述各自節點集內節點數，所述各個節點集的平均互連強度可以漸近地達到各自的極限。例如，所述各自的極限基本相同。對于集內連接數小于同一節點集內的節點數的節點集，集內連接的權重大小可以與一套水平中的不同水平顯著相關。例如，每個不同的水平可以與所述集內的不同節點數目相關。神經網絡裝置可以包括被配置以基于每個集內連接的集內其他節點數目來改變所述集內連接各自的權重大小的適配器組件。例如，在對所述神經網絡裝置訓練前，可以配置適配器組件以改變各自權重的大小。這樣的神經網絡裝置可以是未訓練的。神經網絡裝置可以包括被配置以基于節點集內節點數目來改變每個節點集內節點之間連接概率的適配器組件。例如，在對所述神經網絡裝置訓練前，可以配置適配器組件以改變每個權重的大小。連接可以包括相互連接和非相互連接。非相互連接大約兩倍于相互連接。集內的節點與該集內的其他節點連接可能性是與其他節點集內的節點連接的兩倍。具有10到100個節點的節點集的數目可以大于具有少于10個和多于100個節點的節點集的數目。神經網絡裝置可以具有10到100個節點集。可以重復分配或再分配直到達到準穩態。可根據兩兩連接關系連接節點。可以對節點的網絡進行訓練，例如通過以相對穩定的權重來確定節點集內連接的權重，并確定節點集之間的連接的權重以體現所述訓練，同時保持所述節點集內連接的權重相對不變。基于共同連接到第一和第二節點的節點數目，可以對第一和第二節點間的每個連接分配權重。可根據隨機分配過程或者根據其中依照兩個節點連接的可能性進行連接分配的過程，來分配初始組的連接。通過所述方法可以形成未訓練的神經網絡裝置。可以重復分配或再分配，直到各個節點集內的連接數目超過該各個節點集內的節點數目。可以以隨著連接數目超過節點數目達到極限的權重來確定各個節點集內的連接的權重。不同大小節點集的極限基本相同。