[發(fā)明專利]面向分布式機(jī)器學(xué)習(xí)的自適應(yīng)稀疏參數(shù)模型設(shè)計(jì)與量化傳輸方法

有效

• 申請?zhí)枺?/td>: 202110851560.8
• 申請日: 2021-07-27
• 公開（公告）號: CN113660113B
• 公開（公告）日: 2023-09-15
• 發(fā)明（設(shè)計(jì)）人: 王國政;雷詠梅
• 申請（專利權(quán)）人: 上海大學(xué)
• 主分類號: H04L41/14
• 分類號: H04L41/14;H04L67/10;G06N20/00
• 代理公司: 上海上大專利事務(wù)所(普通合伙) 31205
• 代理人: 何文欣

1.一種面向分布式機(jī)器學(xué)習(xí)的自適應(yīng)稀疏參數(shù)模型設(shè)計(jì)與量化傳輸方法，其特征在于，包括如下過程：

A.過濾模型參數(shù)方法設(shè)計(jì)；

B.自適應(yīng)稀疏參數(shù)模型建模；

C.稀疏模型量化傳輸；

所述步驟A中過濾模型參數(shù)方法設(shè)計(jì)如下：

A-1.棧上開辟內(nèi)存，并定義容器排序算法：

在棧上開辟d個(gè)數(shù)據(jù)結(jié)構(gòu)為單精度浮點(diǎn)的空間，計(jì)算模型參數(shù)梯度值，將相關(guān)信息保存到vector容器original_gradients中，用于存放稀疏參數(shù)量化前的梯度向量，original_gradients的具體定義如下：

typedefstd::pairint,floatPAIR//將pair對插入vector中；

std::vectorPAIRoriginal_gradients//vector容器存放模型梯度；

original_gradients是一個(gè)vector容器，當(dāng)需要對容器中元素進(jìn)行排序，并輸出“鍵-值”對形式，保證索引和值一一對應(yīng)時(shí)，使用pair對，將pair對插入vector中；

定義迭代梯度向量vector容器空間gradients_new和上一次迭代梯度向量vector容器空間gradients_old，將計(jì)算好的梯度向量gradients_new與上次迭代梯度gradients_old逐項(xiàng)相減，并存儲到original_gradients向量空間；

A-2.對容器original_gradients中參數(shù)排序：

使用c++標(biāo)準(zhǔn)模板庫中sort()函數(shù)，對數(shù)組或者容器中指定范圍的元素進(jìn)行排序；這里需要使用sort()函數(shù)的一個(gè)自定義排序技巧，sort()函數(shù)中加入第三個(gè)參數(shù)cmp；參數(shù)排序選擇降序排列，定義cmp函數(shù)如下所示：

bool?cmp(const?PAIRx,const?PAIRy){

return?abs(x.second)abs(y.second)；

}

通過排序之后的梯度存儲到topk_gradients容器中，該容器創(chuàng)建方式和original_gradients參數(shù)創(chuàng)建方法相同；

所述稀疏參數(shù)的通信包括稀疏參數(shù)的選擇、傳輸參數(shù)模式的動(dòng)態(tài)選擇，所述步驟B中的自適應(yīng)稀疏參數(shù)模型建模方法如下：

B-1.自適應(yīng)稀疏參數(shù)建模：

當(dāng)參數(shù)稀疏傳輸時(shí)，通信過程中需要使用每一維參數(shù)，對每個(gè)通信項(xiàng)的目標(biāo)函數(shù)進(jìn)行改進(jìn)；最大化以下比例：

其中，Improvement(K)是指使用前K大梯度條件下對目標(biāo)函數(shù)的改進(jìn)，Cost(K)指使用該條件下，傳輸通信量的成本；

B-2.動(dòng)態(tài)稀疏自適應(yīng)調(diào)優(yōu)：

引理1.假設(shè)f:是L-smooth，且γ＝1/L，對于其中引入測度μ(K)，得出函數(shù)值改進(jìn)的大小：

其中：

其中表示從original_gradients取前K大稀疏梯度元素；通過引理1進(jìn)而推導(dǎo)出稀疏梯度方法新的收斂界，在分布式環(huán)境下，通過使用Improvement(K)＝μ(K）定義動(dòng)態(tài)稀疏自適應(yīng)調(diào)優(yōu)：

i指節(jié)點(diǎn)索引，N指節(jié)點(diǎn)數(shù)量，μⁱ(K)表示第i個(gè)節(jié)點(diǎn)目標(biāo)函數(shù)改進(jìn)，Cⁱ(K)表示第i個(gè)節(jié)點(diǎn)通信消耗；首先找到稀疏閾值K，通過最優(yōu)化通信效率，簡寫Cost(K)＝C(K)，然后最大化μⁱ(K)/Cⁱ(K)，表示第i個(gè)節(jié)點(diǎn)取前K大稀疏梯度元素，x_i+和x_i分別表示迭代更新后的參數(shù)和更新前的參數(shù)；

B-3.Improvement(K)計(jì)算：

通過公式(3)計(jì)算出第i個(gè)節(jié)點(diǎn)梯度向量歐氏距離，開方得出對于排序好的d維梯度向量topk_gradients，令K＝1～d依次循環(huán)，從大到小計(jì)算并累加到單精度變量norm_topk中；

B-4.Cost(K)計(jì)算：

第i個(gè)節(jié)點(diǎn)通信負(fù)載計(jì)算方式如下所示：

其中，log₂d代表d維參數(shù)/梯度向量在稀疏傳遞中“鍵”所占的比特?cái)?shù)，F(xiàn)PP表示浮點(diǎn)精度；假設(shè)通信成本等于通信負(fù)載Cⁱ(K)＝Pⁱ(K)；

B-5.計(jì)算最優(yōu)稀疏傳輸K值：

根據(jù)公式(1)中所提到的模型，通過公式(4)計(jì)算Efficiency(K)，并存儲到自定義vector容器空間，選取容器空間中最大的元素作為K值；

B-6.動(dòng)態(tài)選擇傳輸數(shù)據(jù)：

如果存儲一個(gè)索引所要占用的比特?cái)?shù)為b_k，存儲一個(gè)模型參數(shù)所需要的比特?cái)?shù)為b_v，則存儲K個(gè)稀疏數(shù)據(jù)所占用的比特?cái)?shù)為K(b_k+b_v)，而存儲d個(gè)模型參數(shù)所占用的字節(jié)數(shù)為db_v，當(dāng)Kdb_v/(b_k+b_v)時(shí)，采用稀疏參數(shù)通信比采用稠密模型占用更多的比特?cái)?shù)，在通信中，動(dòng)態(tài)選擇通信模式，如果Kdb_v/(b_k+b_v)，采用短消息形式的稀疏數(shù)據(jù)通信，否則，采用稠密數(shù)據(jù)通信；

所述步驟C稀疏模型量化傳輸如下：

C-1.確定量化范圍：

對稀疏的參數(shù)進(jìn)行量化，選取向量參數(shù)的最大最小值parameter_max、parameter_min，通過計(jì)算出量化間隔，并得出初始化零點(diǎn)initial_zero_point，根據(jù)初始化零點(diǎn)，對向量參數(shù)在量化范圍定位；

C-2.稀疏參數(shù)量化：

依次計(jì)算出K個(gè)參數(shù)量化后的值，到此，稀疏傳輸?shù)膮?shù)經(jīng)過量化操作，從32bit降到8bit。