[發(fā)明專利]一種基于聯(lián)邦學(xué)習(xí)的模型訓(xùn)練的方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202010534434.5
• 申請(qǐng)日: 2020-06-12
• 公開（公告）號(hào): CN111695696A
• 公開（公告）日: 2020-09-22
• 發(fā)明（設(shè)計(jì)）人: 李曉麗;車春江;李煜政;陳川;鄭子彬;嚴(yán)強(qiáng);李輝忠
• 申請(qǐng)（專利權(quán)）人: 深圳前海微眾銀行股份有限公司;中山大學(xué)
• 主分類號(hào): G06N20/00
• 分類號(hào): G06N20/00;G06N3/04;G06N3/08;G06K9/62
• 代理公司: 北京同達(dá)信恒知識(shí)產(chǎn)權(quán)代理有限公司 11291
• 代理人: 張懷陽

1.一種基于聯(lián)邦學(xué)習(xí)的模型訓(xùn)練的方法，其特征在于，包括：

終端獲取中央服務(wù)器第k次迭代的第一矩陣參數(shù)和第二矩陣參數(shù)；所述第一矩陣參數(shù)和所述第二矩陣參數(shù)是所述中央服務(wù)器對(duì)全局模型參數(shù)矩陣進(jìn)行分解得到的；所述k為自然數(shù)；

所述終端使用訓(xùn)練樣本對(duì)所述第一矩陣參數(shù)和所述第二矩陣參數(shù)進(jìn)行訓(xùn)練，確定出所述第一矩陣參數(shù)的更新梯度、所述第二矩陣參數(shù)的更新梯度和偏置參數(shù)的更新梯度；

所述終端將所述第一矩陣參數(shù)的更新梯度和所述偏置參數(shù)的更新梯度發(fā)送至所述中央服務(wù)器和/或?qū)⑺龅诙仃噮?shù)的更新梯度和所述偏置參數(shù)的更新梯度發(fā)送至所述中央服務(wù)器，以使所述中央服務(wù)器更新所述全局模型參數(shù)矩陣。

2.如權(quán)利要求1所述的方法，其特征在于，所述終端使用訓(xùn)練樣本對(duì)所述第一矩陣參數(shù)和所述第二矩陣參數(shù)進(jìn)行訓(xùn)練，確定出所述第一矩陣參數(shù)的更新梯度、所述第二矩陣參數(shù)的更新梯度和偏置參數(shù)的更新梯度，包括：

所述終端使用訓(xùn)練樣本對(duì)所述第一矩陣參數(shù)和所述第二矩陣參數(shù)進(jìn)行訓(xùn)練，得到所述第一矩陣參數(shù)的梯度、所述第二矩陣參數(shù)的梯度和所述偏置參數(shù)的梯度；

所述終端根據(jù)所述第一矩陣參數(shù)、所述第二矩陣參數(shù)和所述偏置參數(shù)、所述第一矩陣參數(shù)的梯度、所述第二矩陣參數(shù)的梯度和所述偏置參數(shù)的梯度，確定出第一矩陣更新參數(shù)、第二矩陣更新參數(shù)和偏置更新參數(shù)；

所述終端將所述第一矩陣更新參數(shù)、所述第二矩陣更新參數(shù)和所述偏置更新參數(shù)進(jìn)行反向傳播計(jì)算，確定出所述第一矩陣參數(shù)的更新梯度、所述第二矩陣參數(shù)的更新梯度和所述偏置參數(shù)的更新梯度。

3.如權(quán)利要求2所述的方法，其特征在于，所述終端使用訓(xùn)練樣本對(duì)所述第一矩陣參數(shù)和所述第二矩陣參數(shù)進(jìn)行訓(xùn)練，得到所述第一矩陣參數(shù)的梯度、所述第二矩陣參數(shù)的梯度和所述偏置參數(shù)的梯度，包括：

根據(jù)第一矩陣參數(shù)和所述第二矩陣參數(shù)創(chuàng)建轉(zhuǎn)換函數(shù)，使用所述訓(xùn)練樣本進(jìn)行前向傳播訓(xùn)練，確定出所述轉(zhuǎn)換函數(shù)在前向傳播中所有全連接層的損失函數(shù)；所述損失函數(shù)包括所述偏置參數(shù)；

確定出所述轉(zhuǎn)換函數(shù)在前向傳播中所有全連接層的損失函數(shù)的最小值，將所述最小值的損失函數(shù)作為目標(biāo)函數(shù)；

根據(jù)逐元素乘法計(jì)算所述目標(biāo)函數(shù)，確定出所述目標(biāo)函數(shù)的誤差函數(shù)；

根據(jù)隨機(jī)梯度下降法計(jì)算所述誤差函數(shù)，確定出所述第一矩陣參數(shù)的梯度、所述第二矩陣參數(shù)的梯度和所述偏置參數(shù)的梯度。

4.如權(quán)利要求2所述的方法，其特征在于，根據(jù)下述公式(1)確定出第一矩陣更新參數(shù)；根據(jù)下述公式(2)確定出第二矩陣更新參數(shù)；根據(jù)下述公式(3)確定出其他更新參數(shù)；

其中，為第k+1次迭代的第l層的第一矩陣更新參數(shù)，為第k次迭代的第l層的第一矩陣參數(shù)，α_k+1為第k+1次迭代的學(xué)習(xí)率，為所述第一矩陣參數(shù)的梯度，為第k+1次迭代的第l層的第二矩陣更新參數(shù)，為第k次迭代的第l層的第二矩陣參數(shù)，為所述第二矩陣參數(shù)的梯度，為第k+1次迭代的第l層的偏置更新參數(shù)，為第k次迭代的第l層的偏置參數(shù)，為所述偏置參數(shù)的更新梯度，其中l(wèi)為正整數(shù)。

5.如權(quán)利要求1至4任一項(xiàng)所述的方法，其特征在于，所述終端的數(shù)量為多個(gè)；

所述方法還包括：

當(dāng)所述終端的數(shù)量為偶數(shù)時(shí)，隨機(jī)一半數(shù)量的終端將所述第一矩陣參數(shù)的更新梯度和所述偏置參數(shù)的更新梯度發(fā)送至所述中央服務(wù)器；另一半數(shù)量的終端將所述第二矩陣參數(shù)的更新梯度和所述偏置參數(shù)的更新梯度發(fā)送至所述中央服務(wù)器；當(dāng)所述終端的數(shù)量為奇數(shù)時(shí)，每個(gè)終端將所述第一矩陣參數(shù)的更新梯度、所述第二矩陣參數(shù)的更新梯度和所述偏置參數(shù)的更新梯度發(fā)送至所述中央服務(wù)器；以使所述中央服務(wù)器根據(jù)多個(gè)所述終端發(fā)送的所述第一矩陣參數(shù)的更新梯度、所述第二矩陣參數(shù)的更新梯度和所述偏置參數(shù)的更新梯度更新所述全局模型參數(shù)矩陣。