[發(fā)明專(zhuān)利]一種基于AllReduce分布式訓(xùn)練梯度壓縮加速方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011504384.2
• 申請(qǐng)日: 2020-12-17
• 公開(kāi)（公告）號(hào): CN112529163A
• 公開(kāi)（公告）日: 2021-03-19
• 發(fā)明（設(shè)計(jì)）人: 謝遠(yuǎn)東;梁家恩
• 申請(qǐng)（專(zhuān)利權(quán)）人: 云知聲智能科技股份有限公司;廈門(mén)云知芯智能科技有限公司
• 主分類(lèi)號(hào): G06N3/04
• 分類(lèi)號(hào): G06N3/04;G06N3/08
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.一種基于AllReduce分布式訓(xùn)練梯度壓縮加速方法，其特征在于，包括：

采用AllReduce分布式深度梯度壓縮訓(xùn)練架構(gòu)，所述AllReduce分布式深度梯度壓縮訓(xùn)練架構(gòu)中，不存在參數(shù)服務(wù)器，工作機(jī)之間形成環(huán)形閉環(huán)傳遞路徑，GPU之間傳遞壓縮后梯度；以及

將節(jié)點(diǎn)內(nèi)壓縮模塊中將梯度從FP32轉(zhuǎn)成FP16；并

使用誤差反饋隨機(jī)梯度下降算法壓縮梯度。

2.根據(jù)權(quán)利要求1所述的基于AllReduce分布式訓(xùn)練梯度壓縮加速方法，其特征在于，所述誤差反饋隨機(jī)梯度下降算法包括：

針對(duì)每一次訓(xùn)練進(jìn)行解壓縮得到值p_t。

3.根據(jù)權(quán)利要求2所述的基于AllReduce分布式訓(xùn)練梯度壓縮加速方法，其特征在于，所述誤差反饋隨機(jī)梯度下降算法還包括：

使用梯度壓縮算法對(duì)值p_t進(jìn)行梯度壓縮。

4.根據(jù)權(quán)利要求3所述的基于AllReduce分布式訓(xùn)練梯度壓縮加速方法，其特征在于，

值p_t為p_t＝ηg_t+e_t，其中，g_t為隨機(jī)梯度下降值，e_t為偏差值。

5.根據(jù)權(quán)利要求4所述的基于AllReduce分布式訓(xùn)練梯度壓縮加速方法，其特征在于，

e_t初始值為0。

6.根據(jù)權(quán)利要求5所述的基于AllReduce分布式訓(xùn)練梯度壓縮加速方法，其特征在于，

所述梯度壓縮實(shí)施為：采用topk算法，取梯度前k個(gè)值pt進(jìn)行數(shù)據(jù)整合。

7.根據(jù)權(quán)利要求5所述的基于AllReduce分布式訓(xùn)練梯度壓縮加速方法，其特征在于，所述誤差反饋隨機(jī)梯度下降算法還包括：

更新參數(shù)：x_t+1＝x_t-Δ_t，e_t+1＝p_t-Δ_t。

8.一種存儲(chǔ)介質(zhì)，其特征在于，

所述存儲(chǔ)介質(zhì)包括存儲(chǔ)的程序，其中，在所述程序運(yùn)行時(shí)控制所述存儲(chǔ)介質(zhì)所在設(shè)備執(zhí)行如權(quán)利要求1-7任一項(xiàng)所述的基于AllReduce分布式訓(xùn)練梯度壓縮加速方法。