[發(fā)明專利]實(shí)現(xiàn)隱私保護(hù)的多方協(xié)同更新模型的方法、裝置及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110320900.4
• 申請日: 2021-03-25
• 公開（公告）號: CN112948885B
• 公開（公告）日: 2023-10-27
• 發(fā)明（設(shè)計(jì)）人: 呂靈娟;王維強(qiáng);漆遠(yuǎn)
• 申請（專利權(quán)）人: 支付寶（杭州）信息技術(shù)有限公司
• 主分類號: G06F21/62
• 分類號: G06F21/62;G06N20/00
• 代理公司: 北京億騰知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11309
• 代理人: 陳霽;周良玉

本說明書實(shí)施例提供一種實(shí)現(xiàn)隱私保護(hù)的多方協(xié)同更新模型的方法、裝置及系統(tǒng)，服務(wù)器可以向每個參與方i下發(fā)第t輪公共樣本的聚合結(jié)果。每個參與方i根據(jù)第t輪公共樣本和聚合結(jié)果，對本地的第i模型進(jìn)行第一更新。每個參與方i基于本地樣本集中固定的第一私有樣本及其樣本標(biāo)簽，對第一更新后的第i模型進(jìn)行第二更新。每個參與方i將用于下一輪迭代的第t+1輪公共樣本，輸入第二更新后的第i模型，并將輸出的第二預(yù)測結(jié)果發(fā)送給服務(wù)器，以供服務(wù)器聚合對應(yīng)于n個參與方的n份第二預(yù)測結(jié)果，并在下一輪迭代開始之后使用。在多輪迭代結(jié)束之后，每個參與方i可以將其第二更新后的第i模型，作為其與其它參與方協(xié)同更新的模型。

技術(shù)領(lǐng)域

本說明書一個或多個實(shí)施例涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種實(shí)現(xiàn)隱私保護(hù)的多方協(xié)同更新模型的方法、裝置及系統(tǒng)。

背景技術(shù)

聯(lián)邦學(xué)習(xí)(也稱聯(lián)合學(xué)習(xí))的出現(xiàn)革新了傳統(tǒng)的集中式機(jī)器學(xué)習(xí)，使得參與方在不需要上傳本地?cái)?shù)據(jù)的情況下，就可以協(xié)同構(gòu)建更精確的模型。

目前，聯(lián)邦學(xué)習(xí)往往是通過在各參與方之間共享模型參數(shù)或梯度來實(shí)現(xiàn)，然而由于模型參數(shù)或梯度通常為高維度的隱私數(shù)據(jù)，因此傳統(tǒng)的聯(lián)邦學(xué)習(xí)一定程度的伴隨著通信開銷大、隱私泄露等問題。

發(fā)明內(nèi)容

本說明書一個或多個實(shí)施例描述了一種實(shí)現(xiàn)隱私保護(hù)的多方協(xié)同更新模型的方法、裝置及系統(tǒng)，可有效降低多方協(xié)同建模引起的通信資源消耗，同時起到隱私保護(hù)作用。

第一方面，提供了一種實(shí)現(xiàn)隱私保護(hù)的多方協(xié)同更新模型的方法，包括：

所述服務(wù)器向每個參與方i下發(fā)第t輪公共樣本的聚合結(jié)果；其中，所述聚合結(jié)果，是所述服務(wù)器對所述n個參與方基于各自本地的模型針對所述第t輪公共樣本輸出的n份第一預(yù)測結(jié)果進(jìn)行聚合得到；

每個參與方i根據(jù)所述第t輪公共樣本和所述聚合結(jié)果，對其本地的第i模型進(jìn)行第一更新；

每個參與方i基于本地樣本集中固定的第一私有樣本及其樣本標(biāo)簽，對第一更新后的第i模型進(jìn)行第二更新；

每個參與方i將用于下一輪迭代的第t+1輪公共樣本，輸入第二更新后的第i模型，并將輸出的第二預(yù)測結(jié)果發(fā)送給所述服務(wù)器；

所述服務(wù)器聚合所述n個參與方發(fā)送的n份第二預(yù)測結(jié)果，以用于下一輪迭代；

在所述多輪迭代后，每個參與方i將其第二更新后的第i模型，作為其與其它參與方協(xié)同更新的模型。

第二方面，提供了一種實(shí)現(xiàn)隱私保護(hù)的多方協(xié)同更新模型的方法，包括：

接收所述服務(wù)器下發(fā)的第t輪公共樣本的聚合結(jié)果；其中，所述聚合結(jié)果，是所述服務(wù)器對所述n個參與方基于各自本地的模型針對所述第t輪公共樣本輸出的n份第一預(yù)測結(jié)果進(jìn)行聚合得到；

根據(jù)所述第t輪公共樣本和所述聚合結(jié)果，對其本地的第i模型進(jìn)行第一更新；

基于本地樣本集中固定的第一私有樣本及其樣本標(biāo)簽，對第一更新后的第i模型進(jìn)行第二更新；

將用于下一輪迭代的第t+1輪公共樣本，輸入第二更新后的第i模型，并將輸出的第二預(yù)測結(jié)果發(fā)送給所述服務(wù)器，以供所述服務(wù)器聚合所述第二預(yù)測結(jié)果以及其它參與方發(fā)送的其它預(yù)測結(jié)果，以用于下一輪迭代；

在所述多輪迭代后，將其第二更新后的第i模型，作為其與其它參與方協(xié)同更新的模型。

第三方面，提供了一種實(shí)現(xiàn)隱私保護(hù)的多方協(xié)同更新模型的系統(tǒng)，包括：

所述服務(wù)器，用于向每個參與方i下發(fā)第t輪公共樣本的聚合結(jié)果；其中，所述聚合結(jié)果，是所述服務(wù)器對所述n個參與方基于各自本地的模型針對所述第t輪公共樣本輸出的n份第一預(yù)測結(jié)果進(jìn)行聚合得到；