[發明專利]神經網絡模型訓練系統和方法

有效

• 申請號: 201510368328.3
• 申請日: 2015-06-26
• 公開（公告）號: CN104978601B
• 公開（公告）日: 2017-08-25
• 發明（設計）人: 郭志懋;鄒永強;金涬;李毅
• 申請（專利權）人: 深圳市騰訊計算機系統有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 廣州華進聯合專利商標代理有限公司44224
• 代理人: 何平,鄧云鵬

1.一種神經網絡模型訓練系統，其特征在于，所述系統包括協調設備和預設數量的計算設備；

所述協調設備用于按神經網絡模型的層對各所述計算設備進行同步控制；所述神經網絡模型的每層的節點拆分后分散到各所述計算設備上；

各所述計算設備用于在協調設備按神經網絡模型的層的同步控制下，根據輸入到神經網絡模型的訓練樣本，按照神經網絡模型的訓練順序，處理神經網絡模型中相應層中被劃分到各計算設備的節點，將處理節點所生成的數據發送給模型存儲設備或者與本設備節點相連接的下一層的節點所在的計算設備，直至對輸入的訓練樣本訓練結束。

2.根據權利要求1所述的系統，其特征在于，所述協調設備用于向各計算設備發送處理神經網絡模型的指定層的第一通知；

所述計算設備用于接收并根據第一通知，獲取指定層中被劃分到當前計算設備的節點的處理所需數據，以對當前計算設備的節點進行處理；確定按照神經網絡模型的訓練順序的下一層，將處理節點所生成的數據發送給與當前計算設備的節點連接的下一層中的節點所對應的計算設備；向協調設備發送指定層中被劃分到當前計算設備的節點處理完畢的第二通知；

所述協調設備還用于接收到各計算設備的第二通知后，分別向各計算設備發送處理神經網絡模型的下一層的第一通知，直至對輸入的訓練樣本訓練結束。

3.根據權利要求2所述的系統，其特征在于，在神經網絡模型的正向計算階段，所述計算設備還用于根據第一通知，對應指定層中被劃分到當前計算設備的節點，獲取相連接的上一層的所有節點各自所對應的激活值和相應的邊權重的乘積的總和，根據獲取的各乘積的總和計算當前計算設備的節點的激活值；

所述計算設備還用于對與當前計算設備的單個節點連接的下一層中的節點所對應的計算設備，發送當前計算設備的節點的激活值和相應的邊權重的乘積；對與當前計算設備的多個節點連接的下一層中的節點所對應的計算設備，發送該多個節點各自的激活值和相應的邊權重的乘積的和。

4.根據權利要求2所述的系統，其特征在于，在神經網絡模型的反向計算階段，所述計算設備還用于根據第一通知，對應指定層中被劃分到當前計算設備的節點，獲取相連接的上一層的所有節點各自的殘差值和相應邊權重；根據獲取的殘差值和相應邊權重計算當前計算設備的殘差值，并根據獲取的殘差值以及當前計算設備的節點的激活值調整相應的邊權重。

5.根據權利要求1所述的系統，其特征在于，所述神經網絡模型的各層的節點按照以下任意方式劃分到相應的計算設備：

神經網絡模型的各層的節點被順序編號后，節點編號按預設數量取模，取模結果相同的節點被劃分到同一計算設備；或者，

神經網絡模型的各層的節點被劃分為預設數量的組，每組包括連續相鄰的指定數量的節點，每組節點分別被劃分到各個計算設備；或者，

神經網絡模型的各層的節點被隨機劃分到各個計算設備。

6.根據權利要求1所述的系統，其特征在于，所述計算設備還用于與協調設備交互時攜帶序列號，且在每次完成與協調設備的交互時，將序列號自增預設幅度；

所述協調設備還用于根據各計算設備交互時攜帶的序列號檢測出重復的交互或者失敗的交互，并根據檢測結果執行預設操作。

7.根據權利要求1所述的系統，其特征在于，所述協調設備還用于在檢測到預設事件后，按神經網絡模型的層同步控制各計算設備重新根據輸入的訓練樣本訓練神經網絡模型；所述預設事件包括：

所述協調設備重啟；和/或，

所述協調設備與所述計算設備的通信斷開超過預設時長；和/或，

所述協調設備接收到計算設備的交互請求所攜帶的按交互完成次數自增的序列號，與其它計算設備的交互請求所攜帶的序列號的差值超過預設閾值。

8.根據權利要求1所述的系統，其特征在于，所述協調設備為預設數量的計算設備中的其中一個計算設備。

9.一種神經網絡模型訓練方法，所述方法包括：

預設數量的計算設備在協調設備按神經網絡模型的層的同步控制下，根據輸入到神經網絡模型的訓練樣本，按照神經網絡模型的訓練順序，處理神經網絡模型中相應層中被劃分到各計算設備的節點，將處理節點所生成的數據發送給模型存儲設備或者與本設備節點相連接的下一層的節點所在的計算設備，直至對輸入的訓練樣本訓練結束；所述神經網絡模型的每層的節點拆分后分散到各所述計算設備上。