[發明專利]一種深度學習權值更新方法和系統

在審

• 申請號: 201710900508.0
• 申請日: 2017-09-28
• 公開（公告）號: CN107463448A
• 公開（公告）日: 2017-12-12
• 發明（設計）人: 宋書濤
• 申請（專利權）人: 鄭州云海信息技術有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06N99/00
• 代理公司: 北京安信方達知識產權代理有限公司11262
• 代理人: 李紅爽,李丹

1.一種深度學習權值更新方法，其特征在于，各個計算節點通過高速網絡連接，該方法包括：

各個計算節點分別進行前后向計算；

各計算節點收集自身與其他各個計算節點的前后向計算結果，進行一次迭代的權值更新。

2.根據權利要求1所述的深度學習權值更新方法，其特征在于，各個計算節點分別進行前后向計算的步驟包括：

創建求解器；

網絡層初始化；

權值偏移量計算；

前后向計算。

3.根據權利要求1所述的深度學習權值更新方法，其特征在于，所述各個計算節點還連接有共享存儲系統，該方法還包括：

各個計算節點向所述共享存儲系統讀寫大規模計算數據、控制系統存儲參數數據及計算結果數據。

4.根據權利要求1所述的深度學習權值更新方法，其特征在于，在進行權值更新時，使用遠程直接內存訪問RDMA技術進訪問其他計算節點。

5.根據權利要求1所述的深度學習權值更新方法，其特征在于，所述計算節點包含至少一個CPU和至少一個GPU。

6.根據權利要求2所述的深度學習權值更新方法，其特征在于，對于同一計算節點，不同CPU或不同GPU之間的前后向計算是相互獨立的。

7.根據權利要求6所述的深度學習權值更新方法，基特征在于，計算節點為每個參與計算的CPU或GPU開啟獨立線程。

8.一種深度學習權值更新系統，其特征在于，該系統包括計算集群系統和存儲系統，所述計算集群系統包括多個計算節點，所述多個計算節點之間、各計算節點與所述存儲系統之間通過高速網絡連接；

所述計算集群系統中的計算節點，用于分別進行前后向計算，收集自身與其他各個計算節點的前后向計算結果，進行一次迭代的權值更新。

9.根據權利要求8所述的深度學習權值更新系統，其特征在于，所述計算節點包含至少一個CPU和至少一個GPU。

10.根據權利要求8所述的深度學習權值更新系統，其特征在于，

所述存儲系統，包含共享存儲子系統和分散于各個所述計算節點的本地存儲子系統，所述共享存儲子系統用于存儲大規模計算數據，控制系統存儲參數數據及計算結果數據。