[發(fā)明專利]一種基于對(duì)抗噪聲注入的垂直聯(lián)邦學(xué)習(xí)方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202110654359.0
• 申請(qǐng)日: 2021-06-11
• 公開(kāi)（公告）號(hào): CN113298268A
• 公開(kāi)（公告）日: 2021-08-24
• 發(fā)明（設(shè)計(jì)）人: 陳晉音;李榮昌;張龍?jiān)?/a>;劉濤
• 申請(qǐng)（專利權(quán)）人: 浙江工業(yè)大學(xué)
• 主分類號(hào): G06N20/20
• 分類號(hào): G06N20/20;G06N3/04;G06F21/62
• 代理公司: 杭州天勤知識(shí)產(chǎn)權(quán)代理有限公司 33224
• 代理人: 胡紅娟

本發(fā)明公開(kāi)了一種基于對(duì)抗噪聲注入的垂直聯(lián)邦學(xué)習(xí)方法，包括以下步驟：邊緣客戶端數(shù)據(jù)對(duì)齊，保證數(shù)據(jù)特征相同，不同邊緣客戶端之間相同訓(xùn)練數(shù)據(jù)成員id進(jìn)行數(shù)據(jù)對(duì)齊匹配；邊緣客戶端和服務(wù)器端模型初始化工作準(zhǔn)備，包括服務(wù)商協(xié)商選定客戶端邊緣網(wǎng)絡(luò)模型和服務(wù)器端網(wǎng)絡(luò)模型和結(jié)構(gòu)，模型參數(shù)初始化設(shè)置；將客戶端邊緣網(wǎng)絡(luò)模型訓(xùn)練產(chǎn)生的中間信息送至信息去敏裝置注入對(duì)抗性噪聲；將邊緣客戶端去敏的中間信息上傳給服務(wù)器，利用服務(wù)器上布置的網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，并將梯度信息重新反饋給邊緣客戶端，迭代訓(xùn)練過(guò)程，直至聯(lián)邦模型收斂。該發(fā)明不僅保護(hù)數(shù)據(jù)隱私還有效提升了模型的收斂速率，增強(qiáng)了垂直聯(lián)邦學(xué)習(xí)框架的實(shí)用性。

技術(shù)領(lǐng)域

本發(fā)明涉及圖神經(jīng)網(wǎng)絡(luò)、隱私保護(hù)領(lǐng)域，具體涉及一種基于對(duì)抗噪聲注入的垂直聯(lián)邦學(xué)習(xí)方法和裝置。

背景技術(shù)

隨著物聯(lián)網(wǎng)技術(shù)和社交網(wǎng)絡(luò)的迅速發(fā)展，邊緣設(shè)備的數(shù)據(jù)存儲(chǔ)量呈現(xiàn)指數(shù)級(jí)增加，由于通信代價(jià)和數(shù)據(jù)隱私安全的問(wèn)題，將原始數(shù)據(jù)發(fā)送到第三方機(jī)構(gòu)進(jìn)行集中處理是不切實(shí)際的。因此聯(lián)邦學(xué)習(xí)(Federated learning)成為了現(xiàn)代分布式機(jī)器學(xué)習(xí)的一種典范，它將邊緣設(shè)備(如智能手機(jī)、物聯(lián)網(wǎng)設(shè)備、邊緣服務(wù)器)協(xié)作訓(xùn)練一個(gè)全局模型。

根據(jù)參與聯(lián)邦模型訓(xùn)練的客戶端數(shù)據(jù)分布特征不同，聯(lián)邦學(xué)習(xí)可以被劃分為水平聯(lián)邦學(xué)習(xí)、垂直聯(lián)邦學(xué)習(xí)和聯(lián)邦遷移學(xué)習(xí)。水平聯(lián)邦學(xué)習(xí)場(chǎng)景下，客戶端擁有的數(shù)據(jù)特征是相同的；垂直聯(lián)邦學(xué)習(xí)中客戶端的數(shù)據(jù)特征是不同的，但是數(shù)據(jù)的成員存在交集；聯(lián)邦遷移學(xué)習(xí)則面對(duì)數(shù)據(jù)特征和成員都有很少的交集的情況。

由于垂直聯(lián)邦學(xué)習(xí)的客戶端數(shù)據(jù)分布特性，其越來(lái)越受到服務(wù)商的青睞。針對(duì)垂直聯(lián)邦學(xué)習(xí)有很多算法框架，其中分裂學(xué)習(xí)(Split learning)是一種有效解決圖數(shù)據(jù)在垂直聯(lián)邦學(xué)習(xí)場(chǎng)景下的學(xué)習(xí)框架?，F(xiàn)階段基于分裂學(xué)習(xí)搭建的垂直聯(lián)邦學(xué)習(xí)圖神經(jīng)網(wǎng)絡(luò)框架注重提升框架的效率和通信成本，而忽略了框架的隱私安全。

間接保護(hù)垂直聯(lián)邦學(xué)習(xí)網(wǎng)絡(luò)框架的技術(shù)，主要分為兩類，一類是基于密碼學(xué)理論的加密保護(hù)，另一類是基于脫敏技術(shù)的隱私信息剝離。

常見(jiàn)的加密方法有同態(tài)加密和多方安全計(jì)算：一方面這些方法要求有很高的計(jì)算量，不適合計(jì)算資源有限的邊緣端設(shè)備使用；另一方面這些方法都要求第三方服務(wù)器是一個(gè)誠(chéng)實(shí)且公正的，一旦第三方和攻擊者串通則會(huì)導(dǎo)致中間信息加密失敗。

公開(kāi)號(hào)為CN112560059A的說(shuō)明書公開(kāi)了一種基于神經(jīng)通路特征提取的垂直聯(lián)邦下模型竊取防御方法，包括：(1)將數(shù)據(jù)集中的每張樣本平均分成兩部分，組成樣本集D_A和D_B，且僅樣本集D_B包含樣本標(biāo)簽；(2)依據(jù)D_A對(duì)邊緣終端P_B的邊緣模型M_A進(jìn)行訓(xùn)練，依據(jù)D_B對(duì)邊緣終端P_B的邊緣模型M_B進(jìn)行訓(xùn)練，P_A將訓(xùn)練過(guò)程產(chǎn)生的特征數(shù)據(jù)發(fā)送給P_B，P_B利用接收的特征數(shù)據(jù)和激活神經(jīng)元通路數(shù)據(jù)計(jì)算損失函數(shù)，P_A和P_B并將各自的損失函數(shù)掩碼加密后上傳至服務(wù)端；(3)服務(wù)端對(duì)上傳的損失函數(shù)掩碼解密并聚合后求解聚合的損失函數(shù)獲得M_A和M_B的梯度信息，并返回梯度信息至P_A和P_B以更新邊緣模型網(wǎng)絡(luò)參數(shù)。