[發明專利]基于層次式網絡結構的多方安全協作機器學習方法及系統

有效

• 申請號: 202110922758.0
• 申請日: 2021-08-12
• 公開（公告）號: CN113642738B
• 公開（公告）日: 2023-09-01
• 發明（設計）人: 錢權;馮燕
• 申請（專利權）人: 上海大學
• 主分類號: G06N20/00
• 分類號: G06N20/00;H04L67/1004;H04L67/56
• 代理公司: 北京方圓嘉禾知識產權代理有限公司 11385
• 代理人: 馮靜

1.一種基于層次式網絡結構的多方安全協作機器學習方法，其特征在于，所述方法包括如下步驟：

采用最短距離算法，構建層次式網絡結構；所述層次式網絡結構從下至上依次包括：參與機器學習的各個客戶端、多個代理服務器和服務器；

每個所述客戶端分別對機器學習模型進行本地訓練，獲得本地訓練參數，并為本地訓練參數添加噪聲數據，將添加噪聲數據后的本地訓練參數發送給所述客戶端所屬的代理服務器；

每個所述代理服務器分別對與所述代理服務器連接客戶端發送的添加噪聲數據后的本地訓練參數進行恢復和聚合，獲得第一聚合訓練參數，并將第一聚合訓練參數發送給所述服務器；

所述服務器對每個代理服務器發送的第一聚合訓練參數進行再次聚合，獲得第二聚合訓練參數，并將第二聚合訓練參數進行公鑰加密后發送給每個所述客戶端，客戶端將第二聚合訓練參數作為機器學習模型初始參數，對機器學習模型進行再次訓練，直到符合訓練終止條件。

2.根據權利要求1所述的基于層次式網絡結構的多方安全協作機器學習方法，其特征在于，所述采用最短距離算法，構建層次式網絡結構，具體包括：

采用最短距離算法，將參與機器學習的各個客戶端中距離最近的每N個客戶端組成一個簇，獲得多個簇；

為每個所述簇分配一個代理服務器；每個簇的代理服務器分別與所述簇中的每個客戶端連接；

使每個簇的代理服務器均連接一個服務器。

3.根據權利要求1所述的基于層次式網絡結構的多方安全協作機器學習方法，其特征在于，所述每個所述客戶端分別對機器學習模型進行本地訓練，獲得本地訓練參數，并為本地訓練參數添加噪聲數據，將添加噪聲數據后的本地訓練參數發送給所述客戶端所屬的代理服務器，之前還包括：

每個所述客戶端分別根據噪聲數據產生多個子秘密和冗余信息，并將多個所述子秘密采用共享加密的方式分別共享給與所述客戶端所屬的代理服務器連接的其他客戶端，并將所述冗余信息發送給所述客戶端所屬的代理服務器，與同一個所述代理服務器連接的所有客戶端的噪聲數據的和為零。

4.根據權利要求3所述的基于層次式網絡結構的多方安全協作機器學習方法，其特征在于，所述每個所述客戶端分別根據噪聲數據產生多個子秘密和冗余信息，并將多個所述子秘密采用共享加密的方式分別共享給與所述客戶端所屬的代理服務器連接的其他客戶端，并將所述冗余信息發送給所述客戶端所屬的代理服務器，具體包括：

與代理服務器i連接的可信任第三方采用隨機數種子生成N個噪聲數據，并將N個所述噪聲數據分別發送給與代理服務器i連接的N個所述客戶端；N個所述噪聲數據的和為零；i＝1,2,……，I，I表示代理服務器的數量；

與代理服務器i連接的客戶端n分別根據接收到的噪聲數據生成N個子秘密，并分別將N-1個所述子秘密采用共享加密的方式發送給代理服務器i，代理服務器i分別將N-1個共享加密后的子秘密發送給與代理服務器i連接的其他N-1個所述客戶端；n＝1,2,……，N；

與代理服務器i連接的客戶端n根據校驗矩陣生成冗余信息，并將所述冗余信息發送給所述代理服務器i。

5.根據權利要求1所述的基于層次式網絡結構的多方安全協作機器學習方法，其特征在于，所述每個所述代理服務器分別對與所述代理服務器連接客戶端發送的添加噪聲數據后的本地訓練參數進行恢復和聚合，獲得第一聚合訓練參數，并將第一聚合訓練參數發送給所述服務器，具體包括：

每個所述代理服務器根據與所述代理服務器連接的客戶端的心跳報文，判斷與所述服務器連接的所有客戶端是否均在線，獲得判斷結果；

若所述判斷結果表示是，則所述代理服務器對與所述代理服務器連接每個客戶端發送的添加噪聲數據后的本地訓練參數進行恢復和聚合，獲得第一聚合訓練參數，并將第一聚合訓練參數發送給所述服務器；

若所述判斷結果表示否，則所述代理服務器從與所述代理服務器連接在線客戶端中獲取掉線客戶端的部分子秘密，并根據掉線客戶端的部分子秘密和冗余信息獲取所述掉線客戶端的噪聲數據，結合掉線客戶端的噪聲數據對與所述代理服務器連接在線客戶端發送的添加噪聲數據后的本地訓練參數進行恢復和聚合，獲得第一聚合訓練參數，并將第一聚合訓練參數發送給所述服務器。