[發明專利]將梯度壓縮算法開發注冊到深度學習框架中的方法及系統

在審

• 申請號: 202110894781.3
• 申請日: 2021-08-05
• 公開（公告）號: CN113592701A
• 公開（公告）日: 2021-11-02
• 發明（設計）人: 李誠;許胤龍;白有輝;周泉;龔平
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06T1/20
• 分類號: G06T1/20;G06N20/00;G06F8/40
• 代理公司: 北京凱特來知識產權代理有限公司 11260
• 代理人: 鄭立明;韓珂

1.一種將梯度壓縮算法開發并注冊到深度學習框架中的方法，其特征在于，包括：

從已有的梯度壓縮算法中抽取通用算子；

基于圖形處理器對所述通用算子進行優化；

基于優化后的通用算子，利用設計的域語言編寫梯度壓縮算法的代碼；

利用翻譯器將代碼轉換為能夠在圖形處理器上編譯的代碼；

利用包裝器為翻譯器轉換后的代碼增加能夠注冊至不同深度學習框架的代碼。

2.根據權利要求1所述的一種將梯度壓縮算法開發并注冊到深度學習框架中的方法，其特征在于，所述通用算子包括：排序、篩選、映射、規約、隨機、拼接、以及分解。

3.根據權利要求1所述的一種將梯度壓縮算法開發并注冊到深度學習框架中的方法，其特征在于，所述基于圖形處理器對所述通用算子進行優化包括：利用圖形處理器對所有通用算子做并行優化，優化后的通用算子能夠搭建不同的梯度壓縮算法。

4.根據權利要求1所述的一種將梯度壓縮算法開發并注冊到深度學習框架中的方法，其特征在于，所述域語言能夠支持數組操作、函數調用以及分支控制，還能夠直接調用所有通用算子，定義并操縱1、2或4比特的數據；利用設計的域語言對梯度壓縮算法流程進行抽象，表達成多個通用算子的組合。

5.根據權利要求1或4所述的一種將梯度壓縮算法開發并注冊到深度學習框架中的方法，其特征在于，對于兩比特量化算法，利用設計的與語言編寫相關的代碼包括兩部分：第一個部分為實現梯度壓縮算法的壓縮操作的代碼，第二個部分為實現梯度壓縮算法的解壓縮操作的代碼；其中：

第一個部分的代碼包括：定義參數threshold來決定梯度如何被量化的代碼、定義一個用戶自定義函數castToUint2來將傳入的浮點數壓縮成一個類型為兩比特無符號整數uint2的代碼，以及壓縮主體函數encode代碼；

第二個部分的代碼包括：定義一個用戶自定義函數castToFloat以將一個兩比特無符號整數uint2還原成一個浮點數的代碼，以及解壓縮主體函數decode代碼。

6.根據權利要求1所述的一種將梯度壓縮算法開發并注冊到深度學習框架中的方法，其特征在于，所述利用翻譯器將代碼轉換為能夠在圖形處理器上編譯的代碼包括：

所述翻譯器對代碼進行詞分析、以及根據LL(1)文法并采用遞歸下降法做語法分析，再轉換為能夠在圖形處理器上編譯并行執行、以及能最小化存儲體沖突的代碼。

7.根據權利要求6所述的一種將梯度壓縮算法開發并注冊到深度學習框架中的方法，其特征在于，通過詞分析確定代碼中通用算子的類別，根據通用算子的類別進行語法分析，包括：

對于代碼中的通用算子拼接concat，其接受若干參數作為輸入，接受一個變量作為輸出，翻譯器會分析每個輸入參數的占用空間，將每個輸入參數首尾相接依次存放在輸出變量指向的地址空間中；

對于代碼中的通用算子隨機random，翻譯器根據尖括號中的參數float決定生成的隨機數類型位浮點數，根據方括號中的參數0和1決定生成的隨機數的上下界，轉換成調用根據梯度壓縮算法特性優化過的并行隨機數生成函數的代碼；

對于代碼中的通用算子分解extract，其接受一個輸入參數，接受若干輸出變量作為輸出，翻譯器會分析每個輸出變量的占用空間，然后將輸入變量劃分成首尾相接的、與輸入變量個數相同數量的分段，依次將每個分段按照每個輸入參數類型解析，將解析出的值賦值給輸入參數；對于代碼中的通用算子映射map、篩選filter、規約reduce與排序sort，翻譯器會根據傳入的參數，推導輸入與輸出之間的約束，分別轉換成調用thrust庫中map，copy_if，reduct，sort的代碼；

對于類型為1、2或4比特、有或無符號整數的單個變量或數組，翻譯器會分析其占用空間大小，并以尾部補零的方式以字節為單位對齊，在操縱對應單個數據的時候，翻譯器會用對的位操作將數據從單個字節中取出。