[發(fā)明專利]模型參數(shù)發(fā)送方法、裝置、服務(wù)器及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201810273300.5
• 申請日: 2018-03-29
• 公開（公告）號: CN108491928B
• 公開（公告）日: 2019-10-25
• 發(fā)明（設(shè)計）人: 吳家祥;黃維東;黃俊洲
• 申請（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04
• 代理公司: 北京三高永信知識產(chǎn)權(quán)代理有限責(zé)任公司 11138
• 代理人: 劉映東

1.一種模型參數(shù)發(fā)送方法，其特征在于，應(yīng)用于包括主計算節(jié)點和N個子計算節(jié)點的模型訓(xùn)練系統(tǒng)中，所述主計算節(jié)點與所述子計算節(jié)點之間通過網(wǎng)絡(luò)連接，所述主計算節(jié)點與所述子計算節(jié)點為具備數(shù)據(jù)計算功能的裝置，所述N為正整數(shù)，所述方法包括：

所述N個子計算節(jié)點中的每個子計算節(jié)點獲取目標(biāo)模型的模型參數(shù)的初始參數(shù)值和樣本集；

所述子計算節(jié)點根據(jù)所述初始參數(shù)值和所述樣本集，計算所述模型參數(shù)的第一梯度，所述第一梯度用于指示所述模型參數(shù)的變化程度；

所述子計算節(jié)點對所述第一梯度進(jìn)行迭代量化處理得到量化后的第二梯度，所述迭代量化處理是在第t個迭代輪次中基于第t-1個迭代輪次對應(yīng)的誤差累計值所進(jìn)行的量化處理，所述誤差累計值是基于預(yù)設(shè)時間衰減系數(shù)計算得到的量化誤差的累計值，所述t為大于1的正整數(shù)；

所述子計算節(jié)點向所述主計算節(jié)點發(fā)送所述量化后的第二梯度，所述量化后的第二梯度用于指示所述主計算節(jié)點根據(jù)所述量化后的第二梯度對所述初始參數(shù)值進(jìn)行更新，得到更新后的參數(shù)值。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法，還包括：

所述子計算節(jié)點在所述第t個迭代輪次時，按照如下公式對所述誤差累計值進(jìn)行更新，得到所述第t個迭代輪次對應(yīng)的誤差累計值

其中，所述是在所述第t個迭代輪次對應(yīng)的所述誤差累計值，所述α是所述預(yù)設(shè)時間衰減系數(shù)，所述α∈(0,1]，所述是在所述第t-1個迭代輪次對應(yīng)的所述誤差累計值，所述是在所述第t個迭代輪次中，第p個所述子計算節(jié)點上計算得到的第一梯度中的第j個分量，所述是在所述第t個迭代輪次中，第p個所述子計算節(jié)點上計算得到的第二梯度中的第j個分量。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述子計算節(jié)點對所述第一梯度進(jìn)行迭代量化處理得到量化后的第二梯度，包括：

在所述第t個迭代輪次時，根據(jù)所述第t個迭代輪次對應(yīng)的第一梯度，以及所述第t-1個迭代輪次對應(yīng)的所述誤差累計值，計算得到所述第t個迭代輪次對應(yīng)的第二梯度；

當(dāng)所述迭代輪次達(dá)到預(yù)設(shè)迭代次數(shù)時，將所述預(yù)設(shè)迭代次數(shù)所計算得到的第二梯度確定為所述量化后的第二梯度。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述在所述第t個迭代輪次時，根據(jù)所述第t個迭代輪次對應(yīng)的第一梯度，以及所述第t-1個迭代輪次對應(yīng)的所述誤差累計值，計算得到所述第t個迭代輪次對應(yīng)的第二梯度，包括：

按照如下公式計算得到所述第t個迭代輪次對應(yīng)的第二梯度：

其中，所述是在所述第t個迭代輪次中，第p個所述子計算節(jié)點上計算得到的第二梯度中的第j個分量，所述是在所述第t個迭代輪次中，第p個子計算節(jié)點上計算得到的第一梯度中的第j個分量，所述λ是加權(quán)系數(shù)，所述是在所述第t-1個迭代輪次對應(yīng)的所述誤差累計值，所述s是量化函數(shù)ξ_s()的量化級別數(shù)，所述ξ_s()是概率化的映射函數(shù)，所述p為正整數(shù)，所述λ∈(0,1)，所述s為大于1的正整數(shù)，所述l是區(qū)間[0,s)中的整數(shù)，

5.根據(jù)權(quán)利要求1至4任一所述的方法，其特征在于，所述子計算節(jié)點根據(jù)所述初始參數(shù)值和所述樣本集，計算所述模型參數(shù)的第一梯度，包括：

按照如下公式計算得到所述模型參數(shù)的第一梯度

其中，所述是在所述第t個迭代輪次中，第p個所述子計算節(jié)點上的樣本集，所述是所述樣本集的樣本數(shù)量，所述w是所述模型參數(shù)的所述初始參數(shù)值，所述x為所述第p個所述子計算節(jié)點上的第i個樣本的特征信息，所述y為所述第p個所述子計算節(jié)點上的第i個樣本的監(jiān)督信息，所述p和i均為正整數(shù)。