[發明專利]一種對深度學習模型進行并行處理的方法及裝置

在審

• 申請號: 201910916367.0
• 申請日: 2019-09-26
• 公開（公告）號: CN112561051A
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 栗偉清
• 申請（專利權）人: 中興通訊股份有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06K9/62
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 胡艷華;龍洪

本文公開了一種對深度學習模型進行并行處理的方法及裝置。所述對深度學習模型進行并行處理的方法包括：確定模型中計算節點之間的依賴關系，根據所述依賴關系劃分關系組；按照預定規則對關系組進行聚類，生成可并行執行集合；其中，每一個可并行執行集合內的關系組能夠并行運行；將所有的可并行執行集合內的關系組分配到多個目標設備上使得所有可并行執行集合的總并行運算的耗時最短。本文的方案能夠自動拆分深度學習模型，提高深度學習模型采用模型并行時的分布式訓練效率。

技術領域

本發明涉及計算機技術領域，尤其涉及的是一種對深度學習模型進行并行處理的方法及裝置。

背景技術

深度學習模型參數多，訓練數據規模大，導致計算資源消耗大，一次訓練耗時經常達到數天甚至數月，這對于調參的工作人員來說簡直是無法忍受的。因此，對模型訓練進行加速是非常有必要的，而單個設備計算力的提升非常有限，因此需要依靠分布式訓練。

目前，深度學習模型的分布式訓練主要有數據并行和模型并行兩種方式，數據并行是指每個節點上都有一個完整模型的副本，分別取用不同的數據，各自完成前向和后向的計算得到梯度，然后更新參數。模型并行是指根據一定的規則把模型分拆到不同的節點上進行訓練。

相關技術中，模型并行時，模型拆分通常是人工手動完成的，人工拆分費時費力，如果拆分的不合理，再加上節點之間的通信開銷，模型并行甚至起不到任何加速的效果。

發明內容

本文提供一種對深度學習模型進行并行處理的方法及裝置，能夠自動拆分深度學習模型，提高深度學習模型采用模型并行時的分布式訓練效率。

根據本申請的第一方面，本發明實施例提供一種對深度學習模型進行并行處理的方法，包括：

確定模型中計算節點之間的依賴關系，根據所述依賴關系劃分關系組；

按照預定規則對關系組進行聚類，生成可并行執行集合；其中，每一個可并行執行集合內的關系組能夠并行運行；

將所有的可并行執行集合內的關系組分配到多個目標設備上使得所有可并行執行集合的總并行運算的耗時最短。

根據本申請的第二方面，本發明實施例提供一種對深度學習模型進行并行處理的裝置，包括：

存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的對深度學習模型進行并行處理的程序，所述對深度學習模型進行并行處理的程序被所述處理器執行時實現上述對深度學習模型進行并行處理的方法的步驟。

根據本申請的第三方面，本發明實施例提供一種計算機可讀存儲介質，所述計算機可讀存儲介質上存儲有對深度學習模型進行并行處理的程序，所述對深度學習模型進行并行處理的程序被處理器執行時實現上述對深度學習模型進行并行處理的方法的步驟。

與相關技術相比，本發明實施例提供的一種對深度學習模型進行并行處理的方法及裝置，確定模型中計算節點之間的依賴關系，根據所述依賴關系劃分關系組；按照預定規則對關系組進行聚類，生成可并行執行集合；其中，每一個可并行執行集合內的關系組能夠并行運行；將所有的可并行執行集合內的關系組分配到多個目標設備上使得所有可并行執行集合的總并行運算的耗時最短。本發明實施例能夠自動拆分深度學習模型，提高深度學習模型采用模型并行時的分布式訓練效率。

附圖說明

圖1為本發明實施例1的一種對深度學習模型進行并行處理的方法流程圖；

圖2為本發明實施例2的一種對深度學習模型進行并行處理的裝置示意圖；

圖3為本發明示例1中Inception-V3模型計算圖的示意圖；

圖4為本發明示例1中挑選耗時排名靠前的關系組的示意圖；

圖5為本發明示例2中按照名稱作用域字段劃分關系組的示意圖；