[發明專利]一種加速分布式深度神經網絡的訓練方法及裝置

在審

• 申請號: 201810646003.0
• 申請日: 2018-06-21
• 公開（公告）號: CN108876702A
• 公開（公告）日: 2018-11-23
• 發明（設計）人: 廖建新;王敬宇;王晶;戚琦;徐捷
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06T1/20
• 分類號: G06T1/20;G06N3/10;G06N3/08
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 李欣;馬敬

1.一種加速分布式深度神經網絡的訓練方法，其特征在于，所述方法包括：

將待訓練的深度神經網絡劃分為多個子網絡；

將預先獲取的訓練樣本集劃分為多個子樣本集；

基于分布式集群架構及預設的調度方法，利用所述多個子樣本集對所述待訓練的深度神經網絡進行分布式訓練，每個子網絡的訓練加速通過數據本地化減小網絡延遲的影響實現，其中，所述多個子網絡同時進行訓練，并行的子網絡之間同步訓練進度，實現分布式深度神經網絡的加速訓練，所述數據本地化是指任務執行在預設云資源節點，使得數據傳輸時間最短。

2.如權利要求1所述的方法，其特征在于，所述分布式集群架構包括多個云資源節點，所述多個云資源節點運行多個應用，每個應用包括多個任務，其中，所述任務用于根據輸入的數據集訓練子網絡，所述數據集為子樣本集或訓練前一階段的子網絡輸出的階段性訓練結果；

所述基于分布式集群架構及預設的調度方法，利用所述多個子樣本集對所述待訓練的深度神經網絡進行分布式訓練的步驟，包括：

根據公式將所述多個任務調度至所述多個云資源節點，加速每個子網絡的訓練，對所述多個子網絡的訓練進度進行同步，以加速整個待訓練的深度神經網絡的分布式訓練；

其中，c為所述分布式深度神經網絡當前訓練所剩的完成時間，p為應用編號，A為應用的數量，a^p為編號為p的應用的剩余運行時間和數據傳輸時間的總和。

3.如權利要求2所述的方法，其特征在于，所述編號為p的應用的剩余運行時間和數據傳輸時間的總和的計算方式，包括：

根據如下公式計算所述編號為p的應用的剩余運行時間和數據傳輸時間的總和：

其中，N^C為云資源節點的集合，f^p為編號為p的應用的剩余運行時間，t表示任務的編號，p^t為編號為p的應用包含的任務的數量，u^p為編號為p的應用的已運行時間，為編號為p的應用的運行進度，m^t為編號為t的任務的預計最小數據傳輸時間，wⁿ為等待編號為n的云資源節點的資源變為空閑的等待時間，為運行在編號為n的云資源節點上的編號為t的任務的數據傳輸時間，為編號為t的任務存儲在編號為d的云資源節點上的數據量，為編號為n的云資源節點與編號為d的云資源節點之間的鏈路帶寬。

4.如權利要求2或3所述的方法，其特征在于，所述根據公式將所述多個任務調度至所述多個云資源節點的步驟，包括：

將對所述多個任務的調度映射為有向圖模型；

將所述有向圖模型轉換為殘差圖；

根據所述預設的調度方法及所述殘差圖，將所述多個任務調度至所述多個云資源節點。

5.如權利要求4所述的方法，其特征在于，所述將對所述多個任務的調度映射為有向圖模型的步驟，包括：

將對所述多個任務的調度映射為如下有向圖模型：

所述有向圖模型包括源節點、應用節點、任務節點、計算節點和目的節點以及源節點指向應用節點的有向邊、應用節點指向任務節點的有向邊、任務節點指向計算節點的有向邊、計算節點指向目的節點的有向邊；

其中，每個節點對象具有潛力值，所述節點對象包括所述源節點、所述應用節點、所述任務節點、所述計算節點和所述目的節點；潛力值為正值，表示節點對象具有可分配任務，且可分配任務的數量為潛力值；潛力值為負值，表示節點對象的已分配任務的數量超出該節點對象具有的可分配任務的數量，且超出的任務的數量為潛力值的絕對值；每一條有向邊具有費用和容量兩個屬性值，所述源節點指向所述應用節點的有向邊的費用表示單位剩余運行時間；所述應用節點指向所述任務節點的有向邊的費用為0；所述任務節點指向所述計算節點的有向邊的費用表示運行在該計算節點對應的云資源節點上的該任務節點對應的任務所需的數據傳輸時間；所述計算節點指向所述目的節點的有向邊的費用表示等待該計算節點對應的云資源節點的資源變為空閑的等待時間；所述有向邊的容量表示該有向邊的源節點對象總的可調度的任務數量。