[發明專利]一種基于多GPU的BPNN訓練方法和裝置有效
| 申請號： | 201310054733.9 | 申請日： | 2013-02-20 |
| 公開（公告）號： | CN103996069B | 公開（公告）日： | 2018-04-03 |
| 發明（設計）人： | 歐陽劍;王勇 | 申請（專利權）人： | 百度在線網絡技術(北京)有限公司 |
| 主分類號： | G06N3/08 | 分類號： | G06N3/08 |
| 代理公司： | 北京鴻德海業知識產權代理事務所(普通合伙)11412 | 代理人： | 袁媛 |
| 地址： | 100085 北京*** | 國省代碼： | 北京;11 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 基于 gpu bpnn 訓練 方法 裝置 | ||
1.一種基于多圖形處理器GPU的反向傳播神經網絡BPNN訓練方法，其特征在于，該方法包括：
S1、控制各GPU進行BPNN的正向計算，并在每一層的計算結束后在各GPU之間同步當前層的正向計算輸出；
S2、控制各GPU進行BPNN的反向誤差計算，并在每一層的計算結束后在各GPU之間同步當前層的反向誤差計算輸出；
S3、控制各GPU根據所述同步得到的正向計算輸出與所述同步得到的反向誤差計算輸出更新BPNN的權重，包括：
在每個GPU上分別針對各層同步到的正向計算輸出進行合并；
在每個GPU上分別針對各層同步到的反向誤差計算輸出進行合并；
利用各層完整的正向計算輸出和完整的反向誤差計算輸出分別計算得到各層的權重。
2.根據權利要求1所述的方法，其特征在于，所述步驟S1具體包括：
控制各GPU進行正向計算，針對每一層執行：在BPNN的當前層正向計算結束后將正向計算輸出傳遞至下一層的同時，在各GPU之間同步當前層的正向計算輸出。
3.根據權利要求1所述的方法，其特征在于，所述步驟S2具體包括：
根據BPNN正向輸出數據與預期值的差異，控制各GPU進行反向誤差計算，針對每一層執行：在BPNN的當前層反向誤差計算結束后將反向誤差計算輸出傳遞至下一層的同時，在各GPU之間同步當前層的反向誤差計算輸出。
4.根據權利要求2所述的方法，其特征在于，調用GPU之間的PCI-E總線在各GPU之間同步所述正向計算輸出并保存在GPU內存中。
5.根據權利要求3所述的方法，其特征在于，調用GPU之間的PCI-E總線在各GPU之間同步所述反向誤差計算輸出并保存在GPU內存中。
6.一種基于多圖形處理器GPU的反向傳播神經網絡BPNN訓練裝置，其特征在于，該裝置包括：
正向計算單元，用于控制各GPU進行BPNN的正向計算，并在每一層的計算結束后在各GPU之間同步當前層的正向計算輸出；
反向誤差計算單元，用于控制各GPU進行BPNN的反向誤差計算，并在每一層的計算結束后在各GPU之間同步當前層的反向誤差計算輸出；
權重更新單元，用于控制各GPU根據所述同步得到的正向計算輸出與所述同步得到的反向誤差計算輸出更新BPNN的權重，包括：在每個GPU上分別針對各層同步到的正向計算輸出進行合并；在每個GPU上分別針對各層同步到的反向誤差計算輸出進行合并；利用各層完整的正向計算輸出和完整的反向誤差計算輸出分別計算得到各層的權重。
7.根據權利要求6所述的裝置，其特征在于，所述正向計算單元具體執行：
控制各GPU進行正向計算，針對每一層執行：在BPNN的當前層正向計算結束后將正向計算輸出傳遞至下一層的同時，在各GPU之間同步當前層的正向計算輸出。
8.根據權利要求6所述的裝置，其特征在于，所述反向誤差計算單元具體執行：
根據BPNN正向輸出數據與預期值的差異，控制各GPU進行反向誤差計算，針對每一層執行：在BPNN的當前層反向誤差計算結束后將反向誤差計算輸出傳遞至下一層的同時，在各GPU之間同步當前層的反向誤差計算輸出。
9.根據權利要求7所述的裝置，其特征在于，所述正向計算單元調用GPU之間的PCI-E總線在各GPU之間同步所述正向計算輸出并保存在GPU內存中。
10.根據權利要求8所述的裝置，其特征在于，所述反向誤差計算單元調用GPU之間的PCI-E總線在各GPU之間同步所述正向計算輸出并保存在GPU內存中。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于百度在線網絡技術(北京)有限公司，未經百度在線網絡技術(北京)有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201310054733.9/1.html，轉載請聲明來源鉆瓜專利網。
