[發(fā)明專利]基于聯(lián)邦學(xué)習(xí)的模型梯度確認(rèn)方法、裝置、設(shè)備及介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210399999.6
• 申請(qǐng)日: 2022-04-15
• 公開（公告）號(hào): CN114819183A
• 公開（公告）日: 2022-07-29
• 發(fā)明（設(shè)計(jì)）人: 史專;王力
• 申請(qǐng)（專利權(quán)）人: 支付寶（杭州）信息技術(shù)有限公司
• 主分類號(hào): G06N20/00
• 分類號(hào): G06N20/00
• 代理公司: 北京晉德允升知識(shí)產(chǎn)權(quán)代理有限公司 11623
• 代理人: 王戈

本說(shuō)明書實(shí)施例公開了一種基于聯(lián)邦學(xué)習(xí)的模型梯度確定方法、裝置、設(shè)備及介質(zhì)。方案包括：獲取參與節(jié)點(diǎn)的數(shù)據(jù)體量信息；所述數(shù)據(jù)體量信息用于表示所述參與節(jié)點(diǎn)基于本地?cái)?shù)據(jù)對(duì)基礎(chǔ)訓(xùn)練模型進(jìn)行訓(xùn)練時(shí)采用的數(shù)據(jù)量；獲取所述參與節(jié)點(diǎn)基于本地?cái)?shù)據(jù)對(duì)所述基礎(chǔ)訓(xùn)練模型進(jìn)行訓(xùn)練得到的節(jié)點(diǎn)局部梯度；根據(jù)所述數(shù)據(jù)體量信息，以及所述節(jié)點(diǎn)局部梯度，確定所述參與節(jié)點(diǎn)參與的聯(lián)邦學(xué)習(xí)模型的全局梯度；基于所述參與節(jié)點(diǎn)的節(jié)點(diǎn)局部梯度，以及所述全局梯度，確定所述參與節(jié)點(diǎn)的參與度；基于所述參與度，確定所述參與節(jié)點(diǎn)的實(shí)際模型梯度。

技術(shù)領(lǐng)域

本申請(qǐng)涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種基于聯(lián)邦學(xué)習(xí)的模型梯度確定方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)

隨著社會(huì)越來(lái)越意識(shí)到數(shù)據(jù)隱私的必要性，通用數(shù)據(jù)保護(hù)條例(GDPR)等新興法律對(duì)數(shù)據(jù)流通給定了嚴(yán)格的限制，導(dǎo)致數(shù)據(jù)孤島問(wèn)題日益加劇。聯(lián)邦學(xué)習(xí)作為一種新興的隱私保護(hù)的分布式機(jī)器學(xué)習(xí)的方式，為解決數(shù)據(jù)孤島問(wèn)題提供了新的思路。然而，目前聯(lián)邦學(xué)習(xí)訓(xùn)練中，通過(guò)多個(gè)數(shù)據(jù)擁有者的參與，得到的訓(xùn)練模型是統(tǒng)一的，使得每個(gè)參與者得到的模型均是一樣的，不能夠結(jié)合參與者的自身情況為參與者提供不同的模型。

因此，如何為聯(lián)邦學(xué)習(xí)中不同的參與者提供不同的模型，是亟待解決的技術(shù)問(wèn)題。

發(fā)明內(nèi)容

本說(shuō)明書實(shí)施例提供一種基于聯(lián)邦學(xué)習(xí)的模型梯度確定方法、裝置、設(shè)備及介質(zhì)，以解決現(xiàn)有的聯(lián)邦學(xué)習(xí)中各個(gè)參與者得到的模型完全一致的問(wèn)題。

為解決上述技術(shù)問(wèn)題，本說(shuō)明書實(shí)施例是這樣實(shí)現(xiàn)的：

本說(shuō)明書實(shí)施例提供的基于聯(lián)邦學(xué)習(xí)的模型梯度確定方法，包括：

獲取參與節(jié)點(diǎn)的數(shù)據(jù)體量信息；所述數(shù)據(jù)體量信息用于表示所述參與節(jié)點(diǎn)基于本地?cái)?shù)據(jù)對(duì)基礎(chǔ)訓(xùn)練模型進(jìn)行訓(xùn)練時(shí)采用的數(shù)據(jù)量；所述本地?cái)?shù)據(jù)包括所述參與節(jié)點(diǎn)對(duì)應(yīng)的目標(biāo)機(jī)構(gòu)的用戶數(shù)據(jù)；

獲取所述參與節(jié)點(diǎn)基于本地?cái)?shù)據(jù)對(duì)所述基礎(chǔ)訓(xùn)練模型進(jìn)行訓(xùn)練得到的節(jié)點(diǎn)局部梯度；

根據(jù)所述數(shù)據(jù)體量信息，以及所述節(jié)點(diǎn)局部梯度，確定所述參與節(jié)點(diǎn)參與的聯(lián)邦學(xué)習(xí)模型的全局梯度；

基于所述參與節(jié)點(diǎn)的節(jié)點(diǎn)局部梯度，以及所述全局梯度，確定所述參與節(jié)點(diǎn)的參與度；所述參與度用于表示所述參與節(jié)點(diǎn)在聯(lián)邦學(xué)習(xí)模型訓(xùn)練中的參與程度；

基于所述參與度，確定所述參與節(jié)點(diǎn)的實(shí)際模型梯度。

本說(shuō)明書實(shí)施例提供的一種基于聯(lián)邦學(xué)習(xí)的模型梯度確定裝置，包括：

體量信息獲取模塊，用于獲取參與節(jié)點(diǎn)的數(shù)據(jù)體量信息；所述數(shù)據(jù)體量信息用于表示所述參與節(jié)點(diǎn)基于本地?cái)?shù)據(jù)對(duì)基礎(chǔ)訓(xùn)練模型進(jìn)行訓(xùn)練時(shí)采用的數(shù)據(jù)量；所述本地?cái)?shù)據(jù)包括所述參與節(jié)點(diǎn)對(duì)應(yīng)的目標(biāo)機(jī)構(gòu)的用戶數(shù)據(jù)；

局部梯度獲取模塊，用于獲取所述參與節(jié)點(diǎn)基于本地?cái)?shù)據(jù)對(duì)所述基礎(chǔ)訓(xùn)練模型進(jìn)行訓(xùn)練得到的節(jié)點(diǎn)局部梯度；

全局梯度確定模塊，用于根據(jù)所述數(shù)據(jù)體量信息，以及所述節(jié)點(diǎn)局部梯度，確定所述參與節(jié)點(diǎn)參與的聯(lián)邦學(xué)習(xí)模型的全局梯度；

參與度確定模塊，用于基于所述參與節(jié)點(diǎn)的節(jié)點(diǎn)局部梯度，以及所述全局梯度，確定所述參與節(jié)點(diǎn)的參與度；所述參與度用于表示所述參與節(jié)點(diǎn)在聯(lián)邦學(xué)習(xí)模型訓(xùn)練中的參與程度；

實(shí)際梯度確定模塊，用于基于所述參與度，確定所述參與節(jié)點(diǎn)的實(shí)際模型梯度。

本說(shuō)明書實(shí)施例提供的一種基于聯(lián)邦學(xué)習(xí)的模型梯度確定設(shè)備，包括：

至少一個(gè)處理器；以及，

與所述至少一個(gè)處理器通信連接的存儲(chǔ)器；其中，

所述存儲(chǔ)器存儲(chǔ)有可被所述至少一個(gè)處理器執(zhí)行的指令，所述指令被所述至少一個(gè)處理器執(zhí)行，以使所述至少一個(gè)處理器能夠：