[發(fā)明專利]一種基于客戶端雙因素特性的縱向聯(lián)邦學(xué)習(xí)模型聚合方法

在審

• 申請?zhí)枺?/td>: 202310883487.1
• 申請日: 2023-07-18
• 公開（公告）號(hào): CN116663657A
• 公開（公告）日: 2023-08-29
• 發(fā)明（設(shè)計(jì)）人: 奚正波;黃賽梟;張錚;鄧湘勤
• 申請（專利權(quán)）人: 國能大渡河大數(shù)據(jù)服務(wù)有限公司
• 主分類號(hào): G06N3/098
• 分類號(hào): G06N3/098;G06N3/0442;G06N20/00;G06F18/22
• 代理公司: 成都行之智信知識(shí)產(chǎn)權(quán)代理有限公司 51256
• 代理人: 溫利平

本發(fā)明涉及一種基于客戶端雙因素特性的縱向聯(lián)邦學(xué)習(xí)模型聚合方法，屬于聯(lián)邦學(xué)習(xí)技術(shù)領(lǐng)域，包括：確定聯(lián)邦學(xué)習(xí)模型結(jié)構(gòu)，初始化相關(guān)參數(shù)；計(jì)算客戶端節(jié)點(diǎn)數(shù)據(jù)量歸一化比值；客戶端節(jié)點(diǎn)進(jìn)行模型預(yù)訓(xùn)練，得到相關(guān)參數(shù)集合及梯度更新向量；隨機(jī)選取閾值參數(shù)，基于節(jié)點(diǎn)間的梯度更新向量計(jì)算節(jié)點(diǎn)的相異度,并剔除疑似惡意節(jié)點(diǎn)；根據(jù)節(jié)點(diǎn)的數(shù)據(jù)量歸一化比值、相異度形成的雙因素特性綜合計(jì)算節(jié)點(diǎn)的貢獻(xiàn)權(quán)重，并基于此權(quán)重進(jìn)行聚合，形成單次迭代的全局模型；調(diào)整閾值參數(shù)，分析各預(yù)訓(xùn)練模型的性能，確定近似最優(yōu)閾值參數(shù)；根據(jù)近似最優(yōu)閾值參數(shù)進(jìn)行正式訓(xùn)練。本發(fā)明實(shí)現(xiàn)了一種高效安全的聯(lián)邦學(xué)習(xí)聚合方法，提高了收斂速度，增強(qiáng)了模型的準(zhǔn)確度和安全性。

技術(shù)領(lǐng)域

本發(fā)明涉及聯(lián)邦學(xué)習(xí)領(lǐng)域，尤其涉及一種基于客戶端雙因素特性的縱向聯(lián)邦學(xué)習(xí)模型聚合方法。

背景技術(shù)

在傳統(tǒng)的聯(lián)邦學(xué)習(xí)中，通常使用聚合服務(wù)器(以下簡稱“中心方”)來聚合各個(gè)參與方的局部模型更新，以形成全局模型。經(jīng)典的聚合方法使用加權(quán)平均的方式來聚合各方梯度向量，然而在縱向聯(lián)邦學(xué)習(xí)的場景中，客戶端節(jié)點(diǎn)(以下簡稱“節(jié)點(diǎn)”)可能擁有不同數(shù)據(jù)的規(guī)模和質(zhì)量，不同參與方的數(shù)據(jù)也存在特征信息的差異。如果中心方在進(jìn)行局部模型聚合時(shí)未針對以上情況進(jìn)行考慮，將無法基于節(jié)點(diǎn)的特征信息和數(shù)據(jù)量差異等情況進(jìn)行權(quán)重調(diào)整，從而影響模型的泛化性能和收斂速度。

中國專利申請CN116341688A公開了一種名稱為平衡各方調(diào)查數(shù)據(jù)差異的縱向聯(lián)邦學(xué)習(xí)方法及系統(tǒng)。在聯(lián)邦學(xué)習(xí)領(lǐng)域提供了一種綜合利用各節(jié)點(diǎn)對于相同對象的不同論斷的方法，通過讓模型的學(xué)習(xí)目標(biāo)符合大多數(shù)節(jié)點(diǎn)的要求，解決了少部分節(jié)點(diǎn)對模型目標(biāo)的不良誘導(dǎo)的問題，提高了縱向聯(lián)邦學(xué)習(xí)的可用性。以上方法存在如下問題：該專利提出的方法涉及到多個(gè)節(jié)點(diǎn)直接交互和共享本地模型參數(shù)信息，且沒有對竊取隱私信息的惡意節(jié)點(diǎn)的檢測和排除機(jī)制，可能引發(fā)隱私泄露和安全性風(fēng)險(xiǎn)。

本發(fā)明針對縱向聯(lián)邦學(xué)習(xí)的場景以及上述存在的問題，通過中心方直接考核參與方節(jié)點(diǎn)雙因素特性，即節(jié)點(diǎn)的數(shù)據(jù)量歸一化比值與相異度，并設(shè)置閾值參數(shù)剔除疑似的惡意節(jié)點(diǎn)，形成了一種高效安全的聯(lián)邦學(xué)習(xí)聚合方法，從而提高了模型的收斂速度，增強(qiáng)了模型的準(zhǔn)確度和安全性。

發(fā)明內(nèi)容

發(fā)明目的：為了克服現(xiàn)有技術(shù)的不足，提供一種基于客戶端節(jié)點(diǎn)雙因素特性的縱向聯(lián)邦學(xué)習(xí)模型聚合方法，綜合考察參與縱向聯(lián)邦學(xué)習(xí)的節(jié)點(diǎn)的數(shù)據(jù)量規(guī)模和節(jié)點(diǎn)的相異度，有助于解決聯(lián)邦學(xué)習(xí)的聚合效率低下、模型的準(zhǔn)確度不佳和存在安全隱患等問題。

本發(fā)明的技術(shù)內(nèi)容包括：

一種基于客戶端雙因素特性的縱向聯(lián)邦學(xué)習(xí)模型聚合方法，其特征在于，所述方法包括以下步驟：

步驟一：確定聯(lián)邦學(xué)習(xí)訓(xùn)練的模型結(jié)構(gòu)，并初始化模型參數(shù)；

步驟二：確定參與模型訓(xùn)練的節(jié)點(diǎn)集合，計(jì)算各個(gè)參與方節(jié)點(diǎn)參與訓(xùn)練的數(shù)據(jù)量歸一化比值，此為第一個(gè)因素；

步驟三：各個(gè)參與方節(jié)點(diǎn)基于本地?cái)?shù)據(jù)進(jìn)行模型預(yù)訓(xùn)練，得到本地訓(xùn)練模型參數(shù)集合及梯度更新向量；

步驟四：隨機(jī)選取閾值參數(shù)，聚合服務(wù)器(以下簡稱“中心方”)基于節(jié)點(diǎn)間的梯度更新向量計(jì)算節(jié)點(diǎn)的相異度，并剔除疑似的惡意節(jié)點(diǎn)，即：將疑似惡意節(jié)點(diǎn)的相異度置為0，此為第二個(gè)因素；

步驟五：中心方根據(jù)節(jié)點(diǎn)的數(shù)據(jù)量歸一化比值和相異度計(jì)算節(jié)點(diǎn)的聚合貢獻(xiàn)權(quán)重；

步驟六：中心方基于節(jié)點(diǎn)的聚合貢獻(xiàn)權(quán)重對局部模型進(jìn)行加權(quán)聚合，形成單次迭代的全局模型；

步驟七：調(diào)整閾值參數(shù)，分析各預(yù)訓(xùn)練模型的性能，確定近似最優(yōu)閾值參數(shù)；

步驟八：根據(jù)近似最優(yōu)閾值參數(shù)進(jìn)行正式訓(xùn)練。

優(yōu)先的，確定聯(lián)邦學(xué)習(xí)訓(xùn)練的模型結(jié)構(gòu)，并初始化模型參數(shù)。具體包括以下方法：

根據(jù)不同的特征屬性進(jìn)行數(shù)據(jù)歸一化處理，以消除數(shù)據(jù)間的量綱差異；