[發明專利]一種反向傳播神經網絡DNN的訓練系統有效
| 申請號： | 201310057598.3 | 申請日： | 2013-02-22 |
| 公開（公告）號： | CN103150596A | 公開（公告）日： | 2013-06-12 |
| 發明（設計）人： | 歐陽劍 | 申請（專利權）人： | 百度在線網絡技術（北京）有限公司 |
| 主分類號： | G06N3/08 | 分類號： | G06N3/08 |
| 代理公司： | 北京清亦華知識產權代理事務所(普通合伙) 11201 | 代理人： | 宋合成 |
| 地址： | 100085 北京市*** | 國省代碼： | 北京;11 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 反向 傳播 神經網絡 dnn 訓練 系統 | ||
1.一種反向傳播神經網絡DNN的訓練系統，其特征在于，包括：
第一圖形處理器組，所述第一圖形處理器組用于進行DNN前向計算和權重更新計算；
第二圖形處理器組，所述第二圖形處理器組用于進行DNN前向計算和DNN反向計算；以及
控制器組，所述控制器組與所述第一圖形處理器組和第二圖形處理器組相連，所述控制器組用于控制所述第一圖形處理器組和第二圖形處理器組分別根據各自的輸入數據進行第N層DNN前向計算，直至前向計算完成之后，所述控制器組控制所述第一圖形處理器組進行權重更新計算，并控制所述第二圖形處理器組進行DNN反向計算，其中，N為正整數。
2.如權利要求1所述的反向傳播神經網絡DNN的訓練系統，其特征在于，還包括：
第一輸入輸出路由器，所述第一輸入輸出路由器與所述控制器組相連，且所述第一輸入輸出路由器與所述第一圖形處理器組和第二圖形處理器組中的一部分圖形處理器相連；
第二輸入輸出路由器，所述第二輸入輸出路由器與所述控制器組相連，且所述第二輸入輸出路由器與所述第一圖形處理器組和第二圖形處理器組中的另一部分圖形處理器相連。
3.如權利要求1或2所述的反向傳播神經網絡DNN的訓練系統，其特征在于，所述控制器組，還用于在所述第一圖形處理器組和第二圖形處理器組的第N層DNN前向計算結束之后，控制所述第一圖形處理器組和第二圖形處理器組根據第N層DNN前向計算的結果進行第N+1層DNN前向計算，同時向所述第一圖形處理器組和第二圖形處理器組的其他圖形處理器廣播所述第N層DNN前向計算的結果。
4.如權利要求1-3任一項所述的反向傳播神經網絡DNN的訓練系統，其特征在于，所述控制器組包括一個或多個控制器。
5.如權利要求4所述的反向傳播神經網絡DNN的訓練系統，其特征在于，當所述控制器組包括多個控制器時，所述多個控制器之間通過QPI或HT總線相互通信。
6.如權利要求1-3任一項所述的反向傳播神經網絡DNN的訓練系統，其特征在于，所述控制器組還用于在所述第二圖形處理器組進行第N層DNN反向計算之后，將第N層DNN反向計算的計算結果廣播至所述第一圖形處理器組，以供所述第一圖形處理器組進行權重更新計算。
7.如權利要求6所述的反向傳播神經網絡DNN的訓練系統，其特征在于，所述第一圖形處理器組對所述第二圖形處理器組廣播的第N層DNN反向計算的計算結果進行合并。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于百度在線網絡技術（北京）有限公司，未經百度在線網絡技術（北京）有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201310057598.3/1.html，轉載請聲明來源鉆瓜專利網。
