[發(fā)明專利]一種縱向聯(lián)邦學(xué)習(xí)模型的訓(xùn)練方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202210217697.2
• 申請(qǐng)日: 2022-03-08
• 公開（公告）號(hào): CN114330759B
• 公開（公告）日: 2022-08-02
• 發(fā)明（設(shè)計(jì)）人: 尤志強(qiáng);卞陽
• 申請(qǐng)（專利權(quán)）人: 富算科技（上海）有限公司
• 主分類號(hào): G06N20/20
• 分類號(hào): G06N20/20;G06F21/60
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 蔣姍

1.一種縱向聯(lián)邦學(xué)習(xí)模型的訓(xùn)練方法，其特征在于，包括：

進(jìn)行梯度下降的無加密機(jī)制的聯(lián)邦學(xué)習(xí)迭代訓(xùn)練，并獲取所有特征每次迭代所使用的梯度值；

根據(jù)每一特征的梯度值，獲取每一特征的梯度值變化趨勢(shì)；以及

重復(fù)迭代更新，直到判斷出梯度值變化趨勢(shì)滿足預(yù)設(shè)條件的特征在特征總數(shù)的占比超過預(yù)設(shè)閾值時(shí)，進(jìn)行有加密機(jī)制的聯(lián)邦學(xué)習(xí)迭代訓(xùn)練；

其中，在開始訓(xùn)練時(shí)，梯度值變化趨勢(shì)為梯度夾角值tan(angle)變大；所述梯度夾角值tan(angle)為：

tan(angle) =|(k_i-k_i-1)/(1+k_i×k_i-1)|

其中，k_i為第i次迭代獲取的梯度值，k_i-1為第i-1次迭代獲取的梯度值；

所述預(yù)設(shè)條件為所述梯度夾角值tan(angle)開始變小。

2.如權(quán)利要求1所述的方法，其特征在于，所述聯(lián)邦學(xué)習(xí)迭代訓(xùn)練包括：

數(shù)據(jù)參與方和模型發(fā)起方各自計(jì)算每一樣本特征的特征值與特征權(quán)重的內(nèi)積；

對(duì)每一樣本特征，將數(shù)據(jù)參與方和模型發(fā)起方的內(nèi)積相加，得到總內(nèi)積值，使用sigmoid函數(shù)對(duì)總內(nèi)積值進(jìn)行轉(zhuǎn)換得到預(yù)測(cè)值；

對(duì)每一樣本特征，將預(yù)測(cè)值與對(duì)應(yīng)的模型發(fā)起方的真實(shí)標(biāo)簽做差，得到梯度中間值；以及

根據(jù)梯度中間值分別計(jì)算數(shù)據(jù)參與方和模型發(fā)起方的樣本特征的梯度值，并更新樣本特征的特征權(quán)重。

3.如權(quán)利要求2所述的方法，其特征在于，所述梯度值變化趨勢(shì)滿足預(yù)設(shè)條件的特征在特征總數(shù)的占比超過預(yù)設(shè)閾值，包括：

模型發(fā)起方和數(shù)據(jù)參與方的所有樣本特征中梯度值變化趨勢(shì)滿足預(yù)設(shè)條件的數(shù)量在特征總數(shù)的占比超過預(yù)設(shè)閾值；其中，所述特征總數(shù)為模型發(fā)起方和數(shù)據(jù)參與方的樣本特征數(shù)之和。

4.如權(quán)利要求1所述的方法，其特征在于，所述有加密機(jī)制的聯(lián)邦學(xué)習(xí)迭代訓(xùn)練，包括：

數(shù)據(jù)參與方和模型發(fā)起方各自計(jì)算每一樣本特征的特征值與特征權(quán)重的內(nèi)積；

對(duì)每一樣本特征，將數(shù)據(jù)參與方和模型發(fā)起方的內(nèi)積相加，得到總內(nèi)積值，使用sigmoid函數(shù)對(duì)總內(nèi)積值進(jìn)行轉(zhuǎn)換得到預(yù)測(cè)值；

對(duì)每一樣本特征，將預(yù)測(cè)值與對(duì)應(yīng)的模型發(fā)起方的真實(shí)標(biāo)簽做差，得到梯度中間值；

由模型發(fā)起方，根據(jù)梯度中間值計(jì)算模型發(fā)起方的梯度值，利用模型發(fā)起方的梯度值更新樣本特征的特征權(quán)重，并且，對(duì)梯度中間值進(jìn)行加密得到加密梯度中間值，并發(fā)送至數(shù)據(jù)參與方；

由數(shù)據(jù)參與方，根據(jù)加密梯度中間值計(jì)算數(shù)據(jù)參與方的梯度并增加掩碼，得到加密掩碼梯度并發(fā)送至模型發(fā)起方；

由模型發(fā)起方，對(duì)加密掩碼梯度利用私鑰解密，得到掩碼梯度并發(fā)送至數(shù)據(jù)參與方；以及

由數(shù)據(jù)參與方，對(duì)掩碼梯度去除掩碼，得到數(shù)據(jù)參與方的梯度值，并利用數(shù)據(jù)參與方的梯度值更新特征權(quán)重。

5.如權(quán)利要求4所述的方法，其特征在于，所述有加密機(jī)制的聯(lián)邦學(xué)習(xí)迭代訓(xùn)練采用分批訓(xùn)練的方式；

所述根據(jù)加密梯度中間值計(jì)算數(shù)據(jù)參與方的梯度并增加掩碼，得到加密掩碼梯度并發(fā)送至模型發(fā)起方，包括：根據(jù)加密梯度中間值計(jì)算數(shù)據(jù)參與方的梯度后，對(duì)各對(duì)應(yīng)樣本特征的加密梯度值做聚合操作，并增加掩碼，得到加密掩碼聚合梯度并發(fā)送至模型發(fā)起方；

利用梯度值更新特征權(quán)重，包括：計(jì)算每一樣本特征的梯度值均值，利用梯度值均值更新特征權(quán)重。

6.如權(quán)利要求4所述的方法，其特征在于，所述加密的方式包括半同態(tài)加密、全同態(tài)加密或mpc秘密共享。

7.如權(quán)利要求4所述的方法，其特征在于，還包括：

模型發(fā)起方基于真實(shí)標(biāo)簽和預(yù)測(cè)值計(jì)算模型的損失值，根據(jù)損失值判斷模型是否收斂：

若收斂，則確定模型訓(xùn)練完成；

若不收斂，則繼續(xù)迭代更新。