[發(fā)明專利]平衡各方調(diào)查數(shù)據(jù)差異的縱向聯(lián)邦學(xué)習(xí)方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202211699464.7
• 申請(qǐng)日: 2022-12-28
• 公開（公告）號(hào): CN116341688A
• 公開（公告）日: 2023-06-27
• 發(fā)明（設(shè)計(jì)）人: 關(guān)志;陳鐘;唐禮勇;韓亞;吳振豪;高健博;陳子明;任立峰;劉勇;孔堅(jiān);黃亮;張鍇;劉娟
• 申請(qǐng)（專利權(quán)）人: 北京大學(xué);奇安信科技集團(tuán)股份有限公司;北京大學(xué)重慶大數(shù)據(jù)研究院
• 主分類號(hào): G06N20/20
• 分類號(hào): G06N20/20;G06F18/214
• 代理公司: 北京君尚知識(shí)產(chǎn)權(quán)代理有限公司 11200
• 代理人: 余功勛

本公開涉及一種平衡各方調(diào)查數(shù)據(jù)差異的縱向聯(lián)邦學(xué)習(xí)方法及系統(tǒng)，屬于聯(lián)邦學(xué)習(xí)技術(shù)領(lǐng)域。該方法包括：確定參與共同訓(xùn)練模型的模型結(jié)構(gòu)，并初始化模型參數(shù)；基于本地?cái)?shù)據(jù)對(duì)參與共同訓(xùn)練模型進(jìn)行訓(xùn)練，得到本地訓(xùn)練模型及相應(yīng)的模型參數(shù)集合；通過(guò)節(jié)點(diǎn)之間的數(shù)據(jù)交互，獲取其他節(jié)點(diǎn)經(jīng)過(guò)本地訓(xùn)練后改動(dòng)的模型參數(shù)集合；基于模型參數(shù)集合中每一位置上的參數(shù)類型，從所有本地訓(xùn)練模型選出需要聯(lián)邦學(xué)習(xí)模型，并將其他的本地訓(xùn)練模型作為對(duì)應(yīng)節(jié)點(diǎn)的最終模型。本發(fā)明可以解決縱向聯(lián)邦學(xué)習(xí)模型的可接受度不高問(wèn)題。

技術(shù)領(lǐng)域

本發(fā)明提供一種平衡各方調(diào)查數(shù)據(jù)差異的縱向聯(lián)邦學(xué)習(xí)方法及系統(tǒng)，涉及聯(lián)邦學(xué)習(xí)技術(shù)領(lǐng)域。

背景技術(shù)

根據(jù)聯(lián)邦學(xué)習(xí)中不同client上的數(shù)據(jù)在特征空間(X)和樣本ID空間(I)中的分布特征將聯(lián)邦學(xué)習(xí)分為橫向聯(lián)邦學(xué)習(xí)、縱向聯(lián)邦學(xué)習(xí)和聯(lián)邦遷移學(xué)習(xí)。

其中，縱向聯(lián)邦學(xué)習(xí)又被稱為基于特征的聯(lián)邦學(xué)習(xí)(特征在變)，應(yīng)用場(chǎng)景為兩個(gè)或多個(gè)client上的數(shù)據(jù)集擁有相同的樣本ID空間，而特征空間不同，目的是通過(guò)擴(kuò)展特征的數(shù)量提高模型訓(xùn)練的精度。

在現(xiàn)有的縱向聯(lián)邦學(xué)習(xí)中，不同節(jié)點(diǎn)共享某對(duì)象的不同特征，豐富了特征數(shù)據(jù)的維度。但是，縱向聯(lián)邦學(xué)習(xí)中的學(xué)習(xí)目標(biāo)則只以某個(gè)節(jié)點(diǎn)的論斷為依據(jù)，忽略了其他節(jié)點(diǎn)的不同看法，容易導(dǎo)致模型的可接受度不高。

發(fā)明內(nèi)容

為了克服上述現(xiàn)有技術(shù)的不足，本發(fā)明提供一種平衡各方調(diào)查數(shù)據(jù)差異的縱向聯(lián)邦學(xué)習(xí)方法及系統(tǒng)，用以解決縱向聯(lián)邦學(xué)習(xí)模型的可接受度不高問(wèn)題。

本發(fā)明的技術(shù)內(nèi)容包括：

一種平衡各方調(diào)查數(shù)據(jù)差異的縱向聯(lián)邦學(xué)習(xí)方法，應(yīng)用于參與聯(lián)邦學(xué)習(xí)節(jié)點(diǎn)，所述方法包括：

確定參與共同訓(xùn)練模型的模型結(jié)構(gòu)，并初始化模型參數(shù)；

基于本地?cái)?shù)據(jù)對(duì)參與共同訓(xùn)練模型進(jìn)行訓(xùn)練，得到本地訓(xùn)練模型及相應(yīng)的模型參數(shù)集合；

通過(guò)節(jié)點(diǎn)之間的數(shù)據(jù)交互，獲取其他節(jié)點(diǎn)經(jīng)過(guò)本地訓(xùn)練后改動(dòng)的模型參數(shù)集合；

基于模型參數(shù)集合中每一位置上的參數(shù)類型，從所有本地訓(xùn)練模型選出需要聯(lián)邦學(xué)習(xí)模型，并將其他的本地訓(xùn)練模型作為對(duì)應(yīng)節(jié)點(diǎn)的最終模型；

訓(xùn)練節(jié)點(diǎn)對(duì)所述需要聯(lián)邦訓(xùn)練模型進(jìn)行聯(lián)邦學(xué)習(xí)，并在滿足設(shè)定條件時(shí)，得到各訓(xùn)練節(jié)點(diǎn)的最終模型；其中，所述訓(xùn)練節(jié)點(diǎn)為需要聯(lián)邦學(xué)習(xí)模型對(duì)應(yīng)的節(jié)點(diǎn)。

進(jìn)一步地，所述確定參與共同訓(xùn)練模型的模型結(jié)構(gòu)，并初始化模型參數(shù)之前，還包括：

根據(jù)數(shù)據(jù)對(duì)象的唯一編碼和數(shù)據(jù)特征的唯一編碼，對(duì)所述本地?cái)?shù)據(jù)進(jìn)行數(shù)據(jù)對(duì)齊。

進(jìn)一步地，所述基于模型參數(shù)集合中每一位置上的參數(shù)類型，從所有本地訓(xùn)練模型選出需要聯(lián)邦學(xué)習(xí)模型，并將其他的本地訓(xùn)練模型作為對(duì)應(yīng)節(jié)點(diǎn)的最終模型，包括：

對(duì)所有模型參數(shù)集合中的每一位置進(jìn)行參數(shù)類型交集；

在任一模型參數(shù)集合與其他模型參數(shù)集合的參數(shù)類型交集為空時(shí)，將對(duì)應(yīng)的本地訓(xùn)練模型作為對(duì)應(yīng)節(jié)點(diǎn)的最終模型；

在一模型參數(shù)集合與其他模型參數(shù)集合的參數(shù)類型交集為不空時(shí)，將對(duì)應(yīng)的本地訓(xùn)練模型作為需要聯(lián)邦學(xué)習(xí)模型。

進(jìn)一步地，所述訓(xùn)練節(jié)點(diǎn)對(duì)所述需要聯(lián)邦訓(xùn)練模型進(jìn)行聯(lián)邦學(xué)習(xí)，并在滿足設(shè)定條件時(shí)，得到各訓(xùn)練節(jié)點(diǎn)的最終模型，包括：

對(duì)所有需要聯(lián)邦訓(xùn)練模型V_i^(t-1)中存在參數(shù)類型交集位置進(jìn)行參數(shù)值聚合，得到該位置更新后的參數(shù)值；其中，i表示訓(xùn)練節(jié)點(diǎn)的編號(hào)，t表示訓(xùn)練輪數(shù)，聯(lián)邦訓(xùn)練模型為所述本地訓(xùn)練模型；