[發明專利]一種分布式深度學習訓練場景下壓縮感知的梯度同步方法

在審

• 申請號: 202110893347.3
• 申請日: 2021-08-04
• 公開（公告）號: CN113592089A
• 公開（公告）日: 2021-11-02
• 發明（設計）人: 李誠;許胤龍;白有輝;周泉;龔平
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 北京凱特來知識產權代理有限公司 11260
• 代理人: 鄭立明;韓珂

本發明公開了一種分布式深度學習訓練場景下壓縮感知的梯度同步方法，首先，計算任務與傳輸任務解綁，并分類進行管理與調度，使得將不同梯度的壓縮相關的計算隱藏在傳輸中成為可能；其次，本發明在保留原有Parameter Server和Ring?allreduce特性的前提下，將發送給相同目的執行節點的梯度按批次管理，對發送給不同目的節點的批次協調其發送的時機，使得既保證了梯度壓縮算法先驗條件的同時，又高效并行地利用了網絡的上下行帶寬。結合以上兩點技術方案，本發明能夠大大提升開啟梯度壓縮的分布式深度學習的梯度同步速度。

技術領域

本發明涉及分布式深度學習訓練技術領域，尤其涉及一種分布式深度學習訓練場景下壓縮感知的梯度同步方法。

背景技術

2015年美國亞馬遜公司深度學習團隊在論文預印本網站arXiv上發表分布式深度學習訓練系統MXNet(MXNet:A Flexible and Efficient Machine Learning Library forHeterogeneous Distributed Systems)，同年在開源社區Github上開源。該系統做分布式梯度同步時采用參數服務器架構，后面稱為Parameter Server，該系統兼容環狀架構，后面稱為Ring-allreduce。為了加速梯度同步的過程，該系統使用2位梯度壓縮方法減小梯度的大小，即將32位浮點數壓縮至2位。但與不開啟梯度壓縮相比，在16臺服務器，每臺一塊NVIDIA 1080Ti GPU的環境下做訓練，開啟壓縮訓練速度最多僅提升3.6倍，與理想上限15.1倍相差甚遠。本質原因在于以下兩點：

1、梯度在做網絡傳輸前進行壓縮操作，做完網絡傳輸后進行解壓縮操作，即壓縮解壓縮操作散布在梯度同步的關鍵路徑上，而壓縮相關的計算操作是有計算開銷的，不可忽略不計，如果這種計算開銷沒有隱藏在網絡傳輸過程中，將極大地影響加速網絡傳輸所帶來的好處。如環狀結構在做梯度同步時需要原子性地經過2(N-1)步傳輸操作，其中N是參與傳輸的節點的數量，引入壓縮算法后每一步都存在壓縮或者解壓縮操作，而且壓縮相關的計算和傳輸強綁定，無法隱藏在傳輸過程中，導致開啟壓縮后訓練速度提升并不理想。

2、梯度壓縮的存在將使得傳統用于提高網絡帶寬利用率的優化方案不再適用，比如環狀結構使用批處理、數據切分方案來并行利用網絡的上下行帶寬，但該方案將違反梯度壓縮算法梯度分層的前提假設。

發明內容

本發明的目的是提供一種分布式深度學習訓練場景下壓縮感知的梯度同步方法，在不影響訓練精度的前提下，隱藏梯度壓縮相關的計算開銷，提升網絡上下行帶寬的利用率，從而加速分布式深度學習訓練。

本發明的目的是通過以下技術方案實現的：

一種分布式深度學習訓練場景下壓縮感知的梯度同步方法，包括：

設置若干參與訓練的物理服務器，每一物理服務器上部署一個執行節點，并在任一物理服務器上部署一個全局唯一的協調者，所述協調者與所有執行節點互聯；

將梯度壓縮相關的計算與傳輸任務解綁，每一執行節點上的任務包括：梯度壓縮相關的計算任務與傳輸任務，每一執行節點本地維護一個包含不同類型任務依賴關系的數據依賴圖，將滿足依賴關系的不同類型的任務推送至不同的任務隊列中，并由不同的線程做異步調度執行，其中，梯度壓縮相關的計算任務由執行節點所在物理服務器上的GPU執行，傳輸任務則利用執行梯度壓縮相關的計算任務得到的壓縮后的梯度信息生成元數據發送至協調者；

所述協調者根據元數據中目的執行節點的編號將壓縮后的梯度信息進行歸類，并生成傳輸方案廣播給所有執行節點，各執行節點按照傳輸方案傳輸壓縮后的梯度信息，同時接收壓縮后的梯度信息后更新本地的數據依賴圖。