[發明專利]分布式并行的深度學習方法及系統

在審

• 申請號: 201910577968.3
• 申請日: 2019-06-28
• 公開（公告）號: CN112149819A
• 公開（公告）日: 2020-12-29
• 發明（設計）人: 劉若鵬;欒琳;季春霖;陳峰
• 申請（專利權）人: 杭州光啟人工智能研究院
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 古利蘭

本發明提供一種分布式并行的深度學習方法、處理器及系統，該方法適用于由N個處理器構成的分布式并行的深度學習系統，具體內容為：每個處理器將用于訓練神經網絡模型的訓練數據劃分為N個第一梯度塊。每個處理器對N個第一梯度塊進行N?1次迭代累積處理，得到每個處理器對應的N個第二梯度塊。每個處理器對N個第二梯度塊進行N?1次迭代覆蓋處理，得到每個處理器對應的N個第三梯度塊，完成對神經網絡模型的訓練。本方案中，預先將訓練數據劃分為N個梯度塊，并利用每個處理器分別對N個梯度塊進行N?1次迭代累積和迭代覆蓋處理，完成對神經網絡模型的訓練，降低訓練周期、訓練成本和提高訓練效率。

技術領域

本發明涉及神經網絡訓練技術領域，具體涉及一種分布式并行的深度學習方法及系統。

背景技術

隨著科學技術的發展，神經網絡模型逐漸應用于各行各業中。在實際應用神經網絡模型時，根據實際需求訓練預先構建好的神經網絡模型，以滿足實際需求。

在訓練神經網絡模型的過程中，通常需要大量的訓練數據和計算資源對構建好的神經網絡模型進行訓練，神經網絡模型的規模越大，需要的訓練數據和計算資源也越多。例如在訓練神經網絡模型時，從計算機視覺目標識別數據集(ImageNet)中獲取訓練數據，而ImageNet中存在1500萬張以上的圖片，對于海量的訓練數據，即使先進的采用圖形處理器(Graphics Processing Unit，GPU)訓練神經網絡模型也需要數周至數月的時間，訓練周期較長。

因此，現有的神經網絡模型訓練方式存在訓練周期長、訓練成本高和效率低等問題。

發明內容

有鑒于此，本發明實施例提供一種分布式并行的深度學習方法、處理器及系統，以解決現有的神經網絡模型訓練方式存在訓練周期長、訓練成本高和效率低等問題。

為實現上述目的，本發明實施例提供如下技術方案：

本發明實施例第一方面公開一種分布式并行的深度學習方法，適用于由N個處理器構成的分布式并行的深度學習系統，所述方法包括：

每個處理器將用于訓練神經網絡模型的訓練數據劃分為N個第一梯度塊，其中，每個所述第一梯度塊和處理器按照0至N-1的順序進行排序，N為大于等于2的整數；

每個所述處理器對N個第一梯度塊進行N-1次迭代累積處理，得到每個所述處理器對應的N個第二梯度塊；

每個所述處理器對N個第二梯度塊進行N-1次迭代覆蓋處理，得到每個所述處理器對應的N個第三梯度塊；

根據每個所述處理器對應的N個第三梯度塊，完成對所述神經網絡模型的訓練。

優選的，進行累加的第一梯度塊為序號相同的梯度塊。

優選的，所述每個所述處理器對N個第二梯度塊進行N-1次迭代覆蓋處理，得到每個所述處理器對應的N個第三梯度塊中，在每一次迭代覆蓋處理中，每個處理器向下一個處理器發送一個第二梯度塊，接收上一個處理器發送的一個第二梯度塊，所述每個處理器將接收到的第二梯度塊覆蓋自身的第二梯度塊，其中，進行覆蓋的第二梯度塊為序號相同的梯度塊。

優選的，每個所述處理器對N個第一梯度塊進行N-1次迭代累積處理，得到每個所述處理器對應的N個第二梯度塊的步驟中，在每一次迭代累積處理中，每個處理器向下一個處理器發送一個第一梯度塊，接收上一個處理器發送的一個第一梯度塊，所述每個處理器將接收到的第一梯度塊與自身的第一梯度塊進行累加。

優選的，所述每個所述處理器對N個第一梯度塊進行N-1次迭代累積處理，得到每個所述處理器對應的N個第二梯度塊，包括：