[發明專利]分布式卷積神經網絡細粒度的參數傳輸調度方法及裝置

有效

• 申請號: 202110936232.8
• 申請日: 2021-08-16
• 公開（公告）號: CN113472597B
• 公開（公告）日: 2022-07-22
• 發明（設計）人: 曾榮飛;姜珊;王興偉
• 申請（專利權）人: 東北大學
• 主分類號: H04L41/0823
• 分類號: H04L41/0823;H04L41/14
• 代理公司: 北京科領智誠知識產權代理事務所(普通合伙) 11782
• 代理人: 陳士騫

本發明實施例公開一種分布式卷積神經網絡細粒度的參數傳輸調度方法及裝置，包括：根據分布式卷積神經網絡底層計算圖依賴關系、資源關聯圖及網絡屬性確認接收操作的優先執行順序，并生成操作?優先級映射表，資源關聯圖為與每個操作相關聯的資源標簽的計算圖，資源標簽包括通信與計算；根據操作?優先級映射表、以及每個接收操作相關聯的通信/計算依賴關系，生成參數?優先級映射表；建立參數服務器與每個計算節點之間的至少一個數據流，并為每個數據流分配唯一標識信息，根據標識信息生成通道?優先級映射表；基于接收到的參數發送請求，分別查找參數?優先級映射表和通道?優先級映射表，根據參數的優先級分配相應優先級的網絡流，將參數發送至網絡設備中。

技術領域

本發明涉及網絡通信技術領域，具體而言，涉及一種分布式卷積神經網絡細粒度的參數傳輸調度方法及裝置。

背景技術

在近幾年的發展中，由于機器學習(Machine Learning，ML)框架的靈活開發、越來越豐富的數據集以及逐漸完善的高性能計算，人工智能領域得以發展迅猛。隨著機器學習模型愈發復雜，訓練深度逐漸加深，導致訓練模型的計算成本超出單個機器的負荷能力，因此分布式機器學習(Distributed Machine Learning，DML)成為短時間內完成大規模的模型訓練的有效解決方案之一。卷積神經網絡(Convolutional Neural Network，CNN)作為ML中的一種算法，主要用于圖像特征提取，已經成功應用在圖像識別和自然語言處理領域。隨著網絡模型的日益復雜和數據集的快速增長，算法模型和輸入數據愈發復雜，分布式CNN中通信量也變得巨大。

在分布式CNN模型訓練中，每次迭代都是計算節點先接收到更新后的參數，然后根據各自的訓練數據子集來進行計算梯度。最后，聚集不同節點的梯度以更新模型參數。因此，隨著DML集群規模的增長，通信可能成為制約分布式CNN模型訓練速度的瓶頸。同時隨著計算端硬件加速器的快速發展，如GPU和FPGAs，頻繁的參數/梯度交換很容易使網絡端成為瓶頸，從而降低DML的訓練性能。

發明人發現在TensorFlow是一種用圖來表示計算的平臺。在數據并行模式下，每個工作節點都有一套完整的模型副本和部分數據子集，即數據集被分割成多個子集。每次迭代由參與的工作節點使用相同的計算圖進行處理，每次迭代通常持續幾毫秒到幾秒鐘。在每次迭代結束時，參數服務器會聚合所有節點的梯度來更新模型參數，在此過程中服務器會交換大量數據，這種通信開銷對系統的吞吐量有很大影響，也限制了模型的可擴展性。因此，如何解決由于通信量巨大而限制模型訓練速度慢、效率低、延遲高等問題，是目前亟需解決。

發明內容

本發明提供了一種分布式卷積神經網絡細粒度的參數傳輸調度方法及裝置，以實現基于優先級的流傳輸調度機制，通過細粒度的參數傳輸實現模型計算和通信的高度重疊，基于優先級的流傳輸機制，降低了突發流量對模型性能的影響。具體的技術方案如下：

第一方面，本發明實施例提供了一種分布式卷積神經網絡細粒度的參數傳輸調度方法，所述方法包括：

根據分布式卷積神經網絡底層計算圖依賴關系、資源關聯圖及網絡屬性確認接收操作的優先執行順序，并生成操作-優先級映射表，所述資源關聯圖為與每個操作相關聯的資源標簽的計算圖，所述資源標簽包括通信與計算；

根據所述操作-優先級映射表、以及每個接收操作相關聯的通信/計算依賴關系，生成參數-優先級映射表；

建立參數服務器與每個計算節點之間的至少一個數據流，并為每個數據流分配唯一標識信息，根據所述標識信息生成通道-優先級映射表；

基于接收到的參數發送請求，分別查找所述參數-優先級映射表和所述通道-優先級映射表，根據所述參數的優先級以及通道，將所述參數發送至網絡設備中。

可選的，所述方法還包括：

根據每個操作的執行時間，計算所有操作的執行時間上限；