[發明專利]分布式訓練的梯度壓縮

在審

• 申請號: 202110301784.1
• 申請日: 2021-03-22
• 公開（公告）號: CN113435682A
• 公開（公告）日: 2021-09-24
• 發明（設計）人: K·徐;R·戴爾蒙特
• 申請（專利權）人: 亞馬遜技術股份有限公司
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06N3/08;G06N3/04
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 錢慰民;張鑫

1.一種在分布式系統中交換壓縮漸變數據以訓練神經網絡模型的方法，該方法包括：

在分布式系統的傳輸工作節點處，計算使用神經網絡模型的一組漸變和與該神經網絡模型相關的一組權重；

在傳輸工作節點上，執行為確定閾值對漸變集進行的稀疏性分析；

在傳輸工作節點處，剪切漸變集中每個有小于閾值的值，從而導致該漸變集包括非剪切的數據元素和剪切的數據元素；

在傳輸工作節點處生成映射，該映射指示漸變集中的哪些對應于非剪切的數據元素，哪些對應于剪切的數據元素；

在傳輸工作節點處，從漸變集生成包括非剪切數據元素的壓縮數據；

將映射和壓縮數據從分布式系統的傳輸工作節點傳輸到接收工作節點；

使用映射將壓縮數據中的非剪切數據元素與剪切數據元素進行組合，在接收工作節點處生成解壓縮數據，以使解壓縮數據包括含有非剪切數據元素和剪切數據元素的漸變集；以及

在接收工作節點上，根據漸變集和在接收工作節點處收到的其他漸變，計算一個同步的漸變集。

2.權利要求1所述的方法，還包括：

在傳輸工作節點處，形成包括映射和漸變集原始長度的標頭，該原始長度對應于多個非剪切的數據元素和剪切的數據元素。

3.權利要求1所述的方法，其中的映射包括具有二進制值的位圖，而該二進制值指示未剪切數據元素和剪切數據元素的位置。

4.權利要求1所述的方法，其中每個漸變集的剪切包括將值設置為等于零，使得剪切的數據元素為零數據元素，而非剪切的數據元素為非零數據元素。

5.一種方法，包括：

在分布式系統的第一個傳輸工作節點處，計算使用神經網絡模型的一組漸變和與該神經網絡模型相關的一組權重；

剪切漸變集中每個有小于閾值的值，從而導致該漸變集包括非剪切的數據元素和剪切的數據元素；

生成映射，該映射指示漸變集中的哪些對應于非剪切的數據元素，哪些對應于剪切的數據元素；

根據來自漸變集的非剪切數據元素生成壓縮數據；以及

將映射和壓縮數據從分布式系統的第一工作節點傳輸到第二工作節點。

6.要求5所述的方法，還包括：

使用映射將壓縮數據中的非剪切數據元素與剪切數據元素進行組合，在第二個工作節點處生成解壓縮數據，以獲得包括非剪切數據元素和剪切數據元素的漸變集。

7.要求5所述的方法，還包括：

形成包括映射的標頭，其中標頭和壓縮數據從第一工作節點傳輸到第二工作節點。

8.權利要求7所述的方法，其中所述標頭還包括所述漸變集集的原始長度，所述原始長度對應于所述非剪切數據元素和所述剪切數據元素的數量。

9.權利要求5所述的方法，其中的映射包括具有二進制值的位圖，而該二進制值指示未剪切數據元素和剪切數據元素的位置。

10.權利要求5所述的方法，其中每個漸變集的剪切包括將值設置為等于零，使得剪切的數據元素為零數據元素，而非剪切的數據元素為非零數據元素。

11.權利要求5所述的方法，還包括：

對漸變集執行稀疏性分析以確定閾值。

12.權利要求11所述的方法，其中執行稀疏性分析包括：

計算漸變集的平均值；

計算漸變集的標準偏差；以及

根據平均值和標準偏差確定閾值。