[發(fā)明專利]一種縱向聯(lián)邦學(xué)習(xí)模型的訓(xùn)練方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202210217697.2
• 申請日: 2022-03-08
• 公開（公告）號: CN114330759B
• 公開（公告）日: 2022-08-02
• 發(fā)明（設(shè)計）人: 尤志強;卞陽
• 申請（專利權(quán)）人: 富算科技（上海）有限公司
• 主分類號: G06N20/20
• 分類號: G06N20/20;G06F21/60
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 蔣姍

本申請?zhí)峁┮环N縱向聯(lián)邦學(xué)習(xí)模型的訓(xùn)練方法及系統(tǒng)，在縱向聯(lián)邦學(xué)習(xí)場景，將模型的訓(xùn)練流程拆分為前后兩個階段，前一訓(xùn)練階段，模型信息量少且不穩(wěn)定，在梯度中間值采取明文的方式由帶有標(biāo)簽數(shù)據(jù)的發(fā)起方通信給數(shù)據(jù)參與方進行模型的學(xué)習(xí)，該過程幾乎不泄露有效信息，因此，前一訓(xùn)練階段進行不加密的聯(lián)邦學(xué)習(xí)迭代訓(xùn)練，重復(fù)迭代更新，直到判斷出梯度值變化趨勢滿足預(yù)設(shè)調(diào)節(jié)的特征在特征總數(shù)的占比超過預(yù)設(shè)閾值時，開始后一訓(xùn)練階段進行有加密機制的聯(lián)邦學(xué)習(xí)迭代訓(xùn)練。通過對模型訓(xùn)練過程的差異化處理，在保護數(shù)據(jù)安全的前提下，能夠加快聯(lián)邦學(xué)習(xí)算法的運行速度，明顯提升算法性能。

技術(shù)領(lǐng)域

本申請涉及機器學(xué)習(xí)技術(shù)領(lǐng)域，具體而言，涉及一種縱向聯(lián)邦學(xué)習(xí)模型的訓(xùn)練方法及系統(tǒng)。

背景技術(shù)

聯(lián)邦學(xué)習(xí)最早由谷歌提出，主要是為了應(yīng)對用戶數(shù)據(jù)安全保護和數(shù)據(jù)隱私監(jiān)管所需。其作為一種多方安全計算的實現(xiàn)技術(shù)，能夠?qū)崿F(xiàn)在原始數(shù)據(jù)不出門的前提下，讓數(shù)據(jù)的價值進行流動，逐步被應(yīng)用于金融風(fēng)控、個性化推薦等領(lǐng)域。聯(lián)邦學(xué)習(xí)根據(jù)不同的業(yè)務(wù)使用場景，主要包括縱向聯(lián)邦學(xué)習(xí)、橫向聯(lián)邦學(xué)習(xí)以及聯(lián)邦遷移算法三種類型。目前聯(lián)邦學(xué)習(xí)已經(jīng)可以支持多種機器學(xué)習(xí)算法。

聯(lián)邦學(xué)習(xí)提供了數(shù)據(jù)使用的安全性保證，能夠規(guī)避數(shù)據(jù)安全監(jiān)管風(fēng)險，當(dāng)下的聯(lián)邦學(xué)習(xí)在工程實現(xiàn)上，普遍對安全性給予更多的關(guān)注，為了保護用戶數(shù)據(jù)安全，使用加密算法或者多方安全計算秘密共享等方式，實現(xiàn)數(shù)據(jù)的隱私計算，但是，現(xiàn)有技術(shù)對大數(shù)據(jù)量進行加解密涉及大量的計算操作，或者采用秘密共享又會使得數(shù)據(jù)通信量倍數(shù)擴大，將導(dǎo)致聯(lián)邦學(xué)習(xí)算法的運行速度較慢，算法性能較低?，F(xiàn)有的聯(lián)邦學(xué)習(xí)模型與明文數(shù)據(jù)集中式的模型訓(xùn)練速度相比，相差數(shù)倍甚至數(shù)十倍，并且隨著數(shù)據(jù)量的擴大，性能差距愈發(fā)明顯。而現(xiàn)實業(yè)務(wù)中，企業(yè)與企業(yè)之間，用戶與企業(yè)服務(wù)之間都非常強調(diào)效率，如果性能損失很大，一個任務(wù)執(zhí)行效率非常慢，會影響聯(lián)邦學(xué)習(xí)在實際業(yè)務(wù)中落地，用戶也無法接受企業(yè)所提供的服務(wù)，造成業(yè)務(wù)受損，用戶流失等負(fù)面結(jié)果，進而對企業(yè)的正常發(fā)展產(chǎn)生不利影響。

發(fā)明內(nèi)容

本申請實施例的目的在于提供一種縱向聯(lián)邦學(xué)習(xí)模型的訓(xùn)練方法及系統(tǒng)，用以解決現(xiàn)有技術(shù)對大數(shù)據(jù)量進行加解密涉及大量的計算操作，或者采用秘密共享又會使得數(shù)據(jù)通信量倍數(shù)擴大，將導(dǎo)致聯(lián)邦學(xué)習(xí)算法的運行速度較慢，算法性能較低的問題。

本申請實施例提供的一種縱向聯(lián)邦學(xué)習(xí)模型的訓(xùn)練方法，包括：

進行梯度下降的聯(lián)邦學(xué)習(xí)迭代訓(xùn)練，并獲取所有特征每次迭代所使用的梯度值；

根據(jù)每一特征的梯度值，獲取每一特征的梯度值變化趨勢；以及

重復(fù)迭代更新，直到判斷出梯度值變化趨勢滿足預(yù)設(shè)條件的特征在特征總數(shù)的占比超過預(yù)設(shè)閾值時，進行有加密機制的聯(lián)邦學(xué)習(xí)迭代訓(xùn)練。

上述技術(shù)方案中，在縱向聯(lián)邦學(xué)習(xí)場景，將模型的訓(xùn)練流程拆分為前后兩個階段，前一訓(xùn)練階段，模型信息量少且不穩(wěn)定，在梯度中間值采取明文的方式由帶有標(biāo)簽數(shù)據(jù)的發(fā)起方通信給數(shù)據(jù)參與方進行模型的學(xué)習(xí)，該過程幾乎不泄露有效信息，因此，前一訓(xùn)練階段進行不加密的聯(lián)邦學(xué)習(xí)迭代訓(xùn)練，重復(fù)迭代更新，直到判斷出梯度值變化趨勢滿足預(yù)設(shè)調(diào)節(jié)的特征在特征總數(shù)的占比超過預(yù)設(shè)閾值時，開始后一訓(xùn)練階段進行有加密機制的聯(lián)邦學(xué)習(xí)迭代訓(xùn)練。通過對模型訓(xùn)練過程的差異化處理，在保護數(shù)據(jù)安全的前提下，能夠加快聯(lián)邦學(xué)習(xí)算法的運行速度，明顯提升算法性能。

在一些可選的實施方式中，在開始訓(xùn)練時，梯度值變化趨勢為梯度夾角值tan(angle)變大；梯度夾角值tan(angle)為：

tan(angle) =|(k_i-k_i-1)/(1+k_i×k_i-1)|

其中，k_i為第i次迭代獲取的梯度值，k_i-1為第i-1次迭代獲取的梯度值。