[發明專利]將梯度壓縮算法開發注冊到深度學習框架中的方法及系統

在審

• 申請號: 202110894781.3
• 申請日: 2021-08-05
• 公開（公告）號: CN113592701A
• 公開（公告）日: 2021-11-02
• 發明（設計）人: 李誠;許胤龍;白有輝;周泉;龔平
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06T1/20
• 分類號: G06T1/20;G06N20/00;G06F8/40
• 代理公司: 北京凱特來知識產權代理有限公司 11260
• 代理人: 鄭立明;韓珂

本發明公開了一種將梯度壓縮算法開發注冊到深度學習框架中的方法及系統，抽象與解壓縮的通用算子，基于圖形處理器實現通用算子并優化其性能，設計一套特定域語言來進一步降低梯度壓縮算法的開發門檻，設計一個翻譯器將特定域語言代碼轉換成可在圖形處理器上編譯并且重復利用其硬件特性以實現高性能的代碼；實現一個包裝器，支持將上一步得到的代碼注冊到不同的深度學習框架中，從而對上層開發者隱藏深度學習框架相關的擴展開發開銷。以上設計能夠在不影響計算正確性的前提下，極大降低圖形處理器開發門開，簡化梯度壓縮算法開發與注冊的流程，在圖形處理器上實現高效率的梯度壓縮算法，從而增強梯度壓縮算法在實際訓練中的應用。

技術領域

本發明涉及深度學習訓練技術領域，尤其涉及一種將梯度壓縮算法開發注冊到深度學習框架中的方法及系統。

背景技術

2015年美國亞馬遜公司發表了論文《使用商業圖形處理單元計算集群做可擴展分布式深度學習訓練》(Scalable Distributed DNN Training Using Commodity GPU CloudComputing)，其中介紹了兩比特量化(TBQ)的梯度壓縮算法，用于降低分布式集群中的通信量，后續此梯度壓縮算法集成在開源深度學習框架MXNet中。2017年NPIS會議上發表了論文《三值梯度：用三值梯度來降低分布式深度學習中的通信量》(TernGrad:TernaryGradients to Reduce Communication in Distributed Deep Learning)，后續此梯度壓縮算法合并到了另一個深度學習框架PyTorch中。以兩比特量化(TBQ)梯度壓縮算法為例，它能將需要傳輸的梯度壓縮成原來的十六分之一，大幅度降低分布式集群間的通信量。但是將梯度壓縮算法應用于訓練中卻往往會遇到如下兩點困難：

第一點，由于梯度壓縮算法會將梯度做有損壓縮，所以不能適用于所有類型的模型訓練，因此當前流行的深度學習訓練框架中集成的梯度壓縮算法無法覆蓋所有甚至大部分模型，需要自己實現并注冊新的梯度壓縮算法。為此學術界也提出了適用于許多梯度壓縮算法，分別適用于不同類型的模型。第二點，如何在圖形處理單元(GPU)上高效實現梯度壓縮算法，并注冊到不同的深度學習框架中。為了利用GPU的硬件特性，如海量的小計算單元，緩存特性等，上層開發者需要非常熟悉GPU開發，此外還需要熟悉深度學習框架的擴展開發，這會將許多算法工程師避之門外。另外即使是專業相關的開發者，也不一定能高效實現梯度壓縮算法。例如集成在MXNet中的TBQ算法，其開源實現的性能是使用本發明實現版本的十分之一；合并入PyTorch開源項目中的TernGrad算法，其開源實現僅支持在中央處理器(CPU)上運行，其性能相當于是使用本發明實現在GPU上的版本的千分之一。過于低下的效率會在深度學習訓練過程中增加額外的計算開銷，影響訓練的迭代速度。

發明內容

本發明的目的是提供一種將梯度壓縮算法開發注冊到深度學習框架中的方法及系統，在不影響計算正確性的前提下，極大降低面向圖形處理器程序開發的門檻，簡化梯度壓縮算法開發與注冊的流程，在圖形處理器上實現高效率的梯度壓縮算法，從而為梯度壓縮算法在實際訓練中的廣泛應用提供了基礎。

本發明的目的是通過以下技術方案實現的：

一種將梯度壓縮算法開發并注冊到深度學習框架中的方法，包括：

從已有的梯度壓縮算法中抽取通用算子；

基于圖形處理器對所述通用算子進行優化；

基于優化后的通用算子，利用設計的域語言編寫梯度壓縮算法的代碼；

利用翻譯器將代碼轉換為能夠在圖形處理器上編譯的代碼；

利用包裝器為翻譯器轉換后的代碼增加能夠注冊至不同深度學習框架的代碼。

一種將梯度壓縮算法開發并注冊到深度學習框架中的系統，包括：

通用算子抽取單元，用于從已有的梯度壓縮算法中抽取通用算子；