[發(fā)明專利]基于層次式網(wǎng)絡(luò)結(jié)構(gòu)的多方安全協(xié)作機器學(xué)習(xí)方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110922758.0
• 申請日: 2021-08-12
• 公開（公告）號: CN113642738B
• 公開（公告）日: 2023-09-01
• 發(fā)明（設(shè)計）人: 錢權(quán);馮燕
• 申請（專利權(quán)）人: 上海大學(xué)
• 主分類號: G06N20/00
• 分類號: G06N20/00;H04L67/1004;H04L67/56
• 代理公司: 北京方圓嘉禾知識產(chǎn)權(quán)代理有限公司 11385
• 代理人: 馮靜

本發(fā)明涉及了一種基于層次式網(wǎng)絡(luò)結(jié)構(gòu)的多方安全協(xié)作機器學(xué)習(xí)方法及系統(tǒng)，本發(fā)明的方法通過對機器學(xué)習(xí)模型參數(shù)添加噪聲擾動，使得機器學(xué)習(xí)模型參數(shù)傳輸具有更高的安全性，通過層次式網(wǎng)絡(luò)結(jié)構(gòu)緩減服務(wù)器端的負(fù)載壓力，通過基于部分子秘密的噪聲恢復(fù)方式，使得對掉線客戶端的噪聲恢復(fù)具有更高的效率，本發(fā)明不僅保證了機器學(xué)習(xí)模型參數(shù)的安全傳輸，而且緩減了服務(wù)器端的負(fù)載壓力，提高服務(wù)器端的工作效率。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)安全技術(shù)領(lǐng)域，特別是涉及一種基于層次式網(wǎng)絡(luò)結(jié)構(gòu)的多方安全協(xié)作機器學(xué)習(xí)方法及系統(tǒng)。

背景技術(shù)

基于大數(shù)據(jù)的機器學(xué)習(xí)推動了人工智能的蓬勃發(fā)展，數(shù)據(jù)的安全問題也日益凸顯。將各方數(shù)據(jù)上傳至服務(wù)器建立集中式的機器學(xué)習(xí)模型的方法，由于傳輸數(shù)據(jù)的過程會造成隱私泄露，而某些高度敏感數(shù)據(jù)的擁有者只允許數(shù)據(jù)保存在自己的手中。因此，多方參與的能夠安全聯(lián)合訓(xùn)練的機器學(xué)習(xí)模型正是解決這一問題的有效手段。盡管多方參與者不再需要將數(shù)據(jù)傳輸?shù)椒?wù)器，解決了數(shù)據(jù)安全的問題，但是在模型聯(lián)合訓(xùn)練中涉及的模型參數(shù)也會造成機器學(xué)習(xí)模型的隱私泄露。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種基于層次式網(wǎng)絡(luò)結(jié)構(gòu)的多方安全協(xié)作機器學(xué)習(xí)方法及系統(tǒng)，以保證機器學(xué)習(xí)模型參數(shù)的安全傳輸，并緩減服務(wù)器端的負(fù)載壓力，提高服務(wù)器端的工作效率。

為實現(xiàn)上述目的，本發(fā)明提供了如下方案：

本發(fā)明提供一種基于層次式網(wǎng)絡(luò)結(jié)構(gòu)的多方安全協(xié)作機器學(xué)習(xí)方法，所述方法包括如下步驟：

采用最短距離算法，構(gòu)建層次式網(wǎng)絡(luò)結(jié)構(gòu)；所述層次式網(wǎng)絡(luò)結(jié)構(gòu)從下至上依次包括：參與機器學(xué)習(xí)的各個客戶端、多個代理服務(wù)器和服務(wù)器；

每個所述客戶端分別對機器學(xué)習(xí)模型進行本地訓(xùn)練，獲得本地訓(xùn)練參數(shù)，并為本地訓(xùn)練參數(shù)添加噪聲數(shù)據(jù)，將添加噪聲數(shù)據(jù)后的本地訓(xùn)練參數(shù)發(fā)送給所述客戶端所屬的代理服務(wù)器；

每個所述代理服務(wù)器分別對與所述代理服務(wù)器連接客戶端發(fā)送的添加噪聲數(shù)據(jù)后的本地訓(xùn)練參數(shù)進行恢復(fù)和聚合，獲得第一聚合訓(xùn)練參數(shù)，并將第一聚合訓(xùn)練參數(shù)發(fā)送給所述服務(wù)器；

所述服務(wù)器對每個代理服務(wù)器發(fā)送的第一聚合訓(xùn)練參數(shù)進行再次聚合，獲得第二聚合訓(xùn)練參數(shù)，并將第二聚合訓(xùn)練參數(shù)進行公鑰加密后發(fā)送給每個所述客戶端，客戶端將第二聚合訓(xùn)練參數(shù)作為機器學(xué)習(xí)模型初始參數(shù)，對機器學(xué)習(xí)模型進行再次訓(xùn)練，直到符合訓(xùn)練終止條件。

可選的，所述采用最短距離算法，構(gòu)建層次式網(wǎng)絡(luò)結(jié)構(gòu)，具體包括：

采用最短距離算法，將參與機器學(xué)習(xí)的各個客戶端中距離最近的每N個客戶端組成一個簇，獲得多個簇；

為每個所述簇分配一個代理服務(wù)器；每個簇的代理服務(wù)器分別與所述簇中的每個客戶端連接；

使每個簇的代理服務(wù)器均連接一個服務(wù)器。

可選的，所述每個所述客戶端分別對機器學(xué)習(xí)模型進行本地訓(xùn)練，獲得本地訓(xùn)練參數(shù)，并為本地訓(xùn)練參數(shù)添加噪聲數(shù)據(jù)，將添加噪聲數(shù)據(jù)后的本地訓(xùn)練參數(shù)發(fā)送給所述客戶端所屬的代理服務(wù)器，之前還包括：

每個所述客戶端分別根據(jù)噪聲數(shù)據(jù)產(chǎn)生多個子秘密和冗余信息，并將多個所述子秘密采用共享加密的方式分別共享給與所述客戶端所屬的代理服務(wù)器連接的其他客戶端，并將所述冗余信息發(fā)送給所述客戶端所屬的代理服務(wù)器；與同一個所述代理服務(wù)器連接的所有客戶端的噪聲數(shù)據(jù)的和為零；

可選的，所述每個所述客戶端分別根據(jù)噪聲數(shù)據(jù)產(chǎn)生多個子秘密和冗余信息，并將多個所述子秘密采用共享加密的方式分別共享給與所述客戶端所屬的代理服務(wù)器連接的其他客戶端，并將所述冗余信息發(fā)送給所述客戶端所屬的代理服務(wù)器，具體包括：