[發(fā)明專利]基于聯(lián)邦學(xué)習(xí)的模型訓(xùn)練方法、裝置及聯(lián)邦學(xué)習(xí)系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110345548.X
• 申請(qǐng)日: 2021-03-31
• 公開（公告）號(hào): CN112862011A
• 公開（公告）日: 2021-05-28
• 發(fā)明（設(shè)計(jì)）人: 殷俊;周武;宋路祥;韓偉豪
• 申請(qǐng)（專利權(quán)）人: 中國(guó)工商銀行股份有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62
• 代理公司: 北京三友知識(shí)產(chǎn)權(quán)代理有限公司 11127
• 代理人: 任默聞;王濤

1.一種基于聯(lián)邦學(xué)習(xí)的模型訓(xùn)練方法，其特征在于，包括：

在聯(lián)邦學(xué)習(xí)的第i次迭代中，根據(jù)本地訓(xùn)練數(shù)據(jù)集采用第一神經(jīng)網(wǎng)絡(luò)進(jìn)行模型訓(xùn)練，根據(jù)本地驗(yàn)證數(shù)據(jù)集確定訓(xùn)練出的模型的預(yù)測(cè)精度，根據(jù)訓(xùn)練出的模型提取本地?cái)?shù)據(jù)集的數(shù)據(jù)特征，將所述數(shù)據(jù)特征以及所述預(yù)測(cè)精度發(fā)送到中央服務(wù)器，以使所述中央服務(wù)器根據(jù)在前R-1次迭代中每個(gè)客戶端在每次迭代時(shí)發(fā)送的數(shù)據(jù)特征以及預(yù)測(cè)精度進(jìn)行特征聚合得到全局聚合特征，其中，i大于等于1且小于等于R-1，R為大于1的整數(shù)，所述本地?cái)?shù)據(jù)集包括：所述本地訓(xùn)練數(shù)據(jù)集和/或所述本地驗(yàn)證數(shù)據(jù)集；

在聯(lián)邦學(xué)習(xí)的第R次迭代中，從所述中央服務(wù)器獲取所述全局聚合特征，并根據(jù)所述全局聚合特征以及所述本地訓(xùn)練數(shù)據(jù)集中各訓(xùn)練數(shù)據(jù)的標(biāo)簽采用第二神經(jīng)網(wǎng)絡(luò)進(jìn)行模型訓(xùn)練，得到最終訓(xùn)練出的模型。

2.根據(jù)權(quán)利要求1所述的基于聯(lián)邦學(xué)習(xí)的模型訓(xùn)練方法，其特征在于，在聯(lián)邦學(xué)習(xí)的第i次迭代中，還包括：

將訓(xùn)練出的模型的模型參數(shù)發(fā)送到所述中央服務(wù)器，以使所述中央服務(wù)器對(duì)在本次迭代中每個(gè)客戶端發(fā)送的模型參數(shù)進(jìn)行聚合得到聚合后的模型參數(shù)；

從所述中央服務(wù)器獲取所述聚合后的模型參數(shù)，將所述聚合后的模型參數(shù)作為第i+1次迭代時(shí)進(jìn)行模型訓(xùn)練的初始參數(shù)。

3.根據(jù)權(quán)利要求2所述的基于聯(lián)邦學(xué)習(xí)的模型訓(xùn)練方法，其特征在于，模型參數(shù)包括模型參數(shù)矩陣；

所述將訓(xùn)練出的模型的模型參數(shù)發(fā)送到所述中央服務(wù)器，具體包括：

采用奇異值分解算法分解模型參數(shù)矩陣得到第一奇異值，將所述第一奇異值發(fā)送到所述中央服務(wù)器，以使所述中央服務(wù)器通過對(duì)所述第一奇異值進(jìn)行奇異值分解算法的逆運(yùn)算得到模型參數(shù)矩陣。

4.根據(jù)權(quán)利要求3所述的基于聯(lián)邦學(xué)習(xí)的模型訓(xùn)練方法，其特征在于，所述從所述中央服務(wù)器獲取所述聚合后的模型參數(shù)，具體包括：

獲取所述中央服務(wù)器采用奇異值分解算法分解聚合后的模型參數(shù)矩陣得到的第二奇異值；

對(duì)所述第二奇異值進(jìn)行奇異值分解算法的逆運(yùn)算得到聚合后的模型參數(shù)矩陣。

5.根據(jù)權(quán)利要求1所述的基于聯(lián)邦學(xué)習(xí)的模型訓(xùn)練方法，其特征在于，數(shù)據(jù)特征包括數(shù)據(jù)特征矩陣；

所述將所述數(shù)據(jù)特征以及所述預(yù)測(cè)精度發(fā)送到中央服務(wù)器，具體包括：

采用奇異值分解算法分解數(shù)據(jù)特征矩陣得到第三奇異值，將所述第三奇異值發(fā)送到所述中央服務(wù)器，以使所述中央服務(wù)器通過對(duì)所述第三奇異值進(jìn)行奇異值分解算法的逆運(yùn)算得到數(shù)據(jù)特征矩陣。

6.根據(jù)權(quán)利要求1所述的基于聯(lián)邦學(xué)習(xí)的模型訓(xùn)練方法，其特征在于，全局聚合特征包括全局聚合特征矩陣；

所述從所述中央服務(wù)器獲取所述全局聚合特征，具體包括：

獲取所述中央服務(wù)器采用奇異值分解算法分解全局聚合特征矩陣得到的第四奇異值；

對(duì)所述第四奇異值進(jìn)行奇異值分解算法的逆運(yùn)算得到全局聚合特征矩陣。

7.根據(jù)權(quán)利要求1所述的基于聯(lián)邦學(xué)習(xí)的模型訓(xùn)練方法，其特征在于，所述最終訓(xùn)練出的模型用于預(yù)測(cè)客戶的風(fēng)險(xiǎn)偏好分類；所述本地訓(xùn)練數(shù)據(jù)集和所述本地驗(yàn)證數(shù)據(jù)集均包含多個(gè)客戶數(shù)據(jù)，每個(gè)所述客戶數(shù)據(jù)包含：多個(gè)客戶特征以及客戶風(fēng)險(xiǎn)偏好分類標(biāo)簽。

8.一種基于聯(lián)邦學(xué)習(xí)的模型訓(xùn)練方法，其特征在于，包括：

在聯(lián)邦學(xué)習(xí)的第i次迭代中，接收各客戶端發(fā)送的數(shù)據(jù)特征以及預(yù)測(cè)精度，其中，每個(gè)所述客戶端在第i次迭代中根據(jù)本地訓(xùn)練數(shù)據(jù)集采用第一神經(jīng)網(wǎng)絡(luò)進(jìn)行模型訓(xùn)練，根據(jù)本地驗(yàn)證數(shù)據(jù)集確定訓(xùn)練出的模型的預(yù)測(cè)精度，以及根據(jù)訓(xùn)練出的模型提取本地?cái)?shù)據(jù)集的數(shù)據(jù)特征，所述本地?cái)?shù)據(jù)集包括：所述本地訓(xùn)練數(shù)據(jù)集和/或所述本地驗(yàn)證數(shù)據(jù)集；

根據(jù)在前R-1次迭代中每個(gè)客戶端在每次迭代時(shí)發(fā)送的數(shù)據(jù)特征以及預(yù)測(cè)精度進(jìn)行特征聚合得到全局聚合特征，其中，i大于等于1且小于等于R-1，R為大于1的整數(shù)；

在聯(lián)邦學(xué)習(xí)的第R次迭代中，將所述全局聚合特征傳輸?shù)礁骺蛻舳耍允垢骺蛻舳烁鶕?jù)所述全局聚合特征以及本地訓(xùn)練數(shù)據(jù)集中各訓(xùn)練數(shù)據(jù)的標(biāo)簽采用第二神經(jīng)網(wǎng)絡(luò)進(jìn)行模型訓(xùn)練，得到每個(gè)客戶端各自對(duì)應(yīng)的最終訓(xùn)練出的模型。