[發明專利]一種基于MIC集群的深度學習框架Caffe系統及算法

在審

• 申請號: 201611073058.4
• 申請日: 2016-11-29
• 公開（公告）號: CN106650925A
• 公開（公告）日: 2017-05-10
• 發明（設計）人: 劉姝
• 申請（專利權）人: 鄭州云海信息技術有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06F9/48;G06F9/50;G06F9/54
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于MIC集群的深度學習框架Caffe系統，其特征在于，包括，MIC集群內多節點，所述節點包括主節點和從節點，各節點與數據庫連接，并通過MPI通信共享數據和任務；所述主節點負責對各節點反饋的信息進行計算匯總后將更新后的參數分發至各節點；從節點利用新參數進行下一輪迭代計算，并將執行結果反饋給主節點。

2.如權利要求1所述的基于MIC集群的深度學習框架Caffe系統，其特征在于，節點內包含多進程，每個節點內設置1對n方式，一個主進程和n個從進程；主進程負責從數據庫中讀取數據并將數據分發給該節點內對應的n個從進程，從進程接收數據后進行ForwardBackward計算。

3.根據權利要求1所述的一種基于MIC集群的深度學習框架Caffe算法，其特征在于，通過MPI技術運行在MIC集群多節點上，各節點間通過MPI通信將任務和數據均分，不同節點間并行執行子任務、處理子數據，進行Caffe中ForwardBackward計算，將執行結果反饋給主節點由主節點對各節點反饋的權值信息進行計算匯總后將更新后的參數分發至各節點，各從節點利用新參數進行下一輪迭代計算。

4.如權利要求3所述的一種基于MIC集群的深度學習框架Caffe算法，其特征在于，所述執行結果為權值參數。

5.如權利要求3所述的一種基于MIC集群的深度學習框架Caffe算法，其特征在于，由設置于節點內的主進程負責從數據庫中讀取數據并將數據分發給該節點內對應的n個從進程，各從進程接收數據后進行ForwardBackward計算；減少不同節點間通信開銷；關于n的設置需要結合每個進程內開啟的線程數。

6.如權利要求3所述的一種基于MIC集群的深度學習框架Caffe算法，其特征在于，對Caffe內核計算部分采用OpenMp多線程并行計算。