[發(fā)明專利]一種減少分布式機(jī)器學(xué)習(xí)通信開銷的方法

有效

• 申請?zhí)枺?/td>: 201910583390.2
• 申請日: 2019-07-01
• 公開（公告）號: CN110287031B
• 公開（公告）日: 2023-05-09
• 發(fā)明（設(shè)計）人: 李武軍;解銀朋;趙申宜;高昊
• 申請（專利權(quán)）人: 南京大學(xué)
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06N20/00
• 代理公司: 南京樂羽知行專利代理事務(wù)所(普通合伙) 32326
• 代理人: 李玉平

1.一種減少分布式機(jī)器學(xué)習(xí)通信開銷的方法，其特征在于，其在服務(wù)器節(jié)點(diǎn)上訓(xùn)練流程的具體步驟為：

步驟100，輸入機(jī)器學(xué)習(xí)模型w以及總共的迭代輪數(shù)T、工作節(jié)點(diǎn)數(shù)目p、樣本總數(shù)n、學(xué)習(xí)率η_t；

步驟101，隨機(jī)初始化模型參數(shù)w＝w₀；

步驟102，累計所有工作節(jié)點(diǎn)發(fā)送過來的稀疏記憶梯度m_t,k為稀疏向量，g_t,k為全局動量向量；

步驟103，更新模型參數(shù)w_t+1＝w_t-η_tv_t,k；

步驟104，將參數(shù)差w_t+1-w_t廣播給所有的工作節(jié)點(diǎn)；

步驟105，判斷當(dāng)前已完成的迭代輪數(shù)t是否達(dá)到總共的迭代輪數(shù)T，如果是則輸出并保存模型參數(shù)w；否則返回步驟102繼續(xù)進(jìn)行訓(xùn)練；

其在第k個工作節(jié)點(diǎn)上訓(xùn)練流程的具體步驟為：

步驟200，輸入訓(xùn)練樣本集合的子集完整的訓(xùn)練樣本集合以及總共的迭代輪數(shù)T、學(xué)習(xí)率η_t、稀疏度ρ、批量大小b、動量系數(shù)β、模型參數(shù)大小d；

步驟201，初始化記憶動量u_0,k＝0；

步驟202，接受服務(wù)器節(jié)點(diǎn)發(fā)送的模型參數(shù)差w_t-w_t-1；

步驟203，更新模型參數(shù)w_t＝w_t-1-(w_t-w_t-1)；

步驟204，從本地數(shù)據(jù)集中隨機(jī)挑選一個小批量數(shù)據(jù)

步驟205，根據(jù)本地的樣本數(shù)據(jù)集計算出隨機(jī)梯度其中則表示第i個樣本ξ_i所對應(yīng)的損失函數(shù)在當(dāng)前模型參數(shù)下的梯度；

步驟206，計算全局動量向量

步驟207，生成一個稀疏向量m_t,k∈{0，1}^d，||m_t,k||₀＝dρ；

步驟208，發(fā)送m_t,k⊙(u_t,k+g_t,k)到服務(wù)器節(jié)點(diǎn)；

步驟209，更新記憶梯度u_t+1，k＝(1-m_t,k)⊙(u_t,k+g_t,k)，k＝1,2，…，p；

步驟210，判斷當(dāng)前已完成的迭代輪數(shù)t是否達(dá)到總共的迭代輪數(shù)T，如果是則結(jié)束訓(xùn)練流程；否則返回步驟202繼續(xù)進(jìn)行訓(xùn)練。

2.如權(quán)利要求1所述的減少分布式機(jī)器學(xué)習(xí)通信開銷的方法，其特征在于：步驟207-209中，生成一個稀疏向量m_t,k∈{0，1}^d，||m_t,k||₀＝dρ，發(fā)送m_t,k⊙(u_t,k+g_t,k)到服務(wù)器節(jié)點(diǎn)，更新記憶梯度u_t+1，k＝(1-m_t,k)⊙(u_t,k+g_t,k)，k＝1,2，…，p。