[發明專利]一種基于區塊鏈的聯邦學習系統及方法

有效

• 申請號: 201911285920.1
• 申請日: 2019-12-13
• 公開（公告）號: CN111212110B
• 公開（公告）日: 2022-06-03
• 發明（設計）人: 王智;武鑫
• 申請（專利權）人: 清華大學深圳國際研究生院
• 主分類號: H04L67/1097
• 分類號: H04L67/1097;H04L47/80;H04L41/14;G06N20/00
• 代理公司: 深圳新創友知識產權代理有限公司 44223
• 代理人: 江耀純

1.一種基于區塊鏈的聯邦學習系統，其特征在于，包括：

模型訓練模塊，用于聯邦學習過程的機器學習模型更新和所述機器學習模型變化值聚合；

基于區塊鏈技術的智能合約模塊，用于在所述聯邦學習的過程中提供去中心化的控制功能與密鑰管理功能；

基于IPFS協議的存儲模塊，用于為所述聯邦學習過程中的中間信息提供去中心化的信息存儲機制；

每個參與聯邦學習的節點上同時運行所述模型訓練模塊、所述基于區塊鏈技術的智能合約模塊、所述基于IPFS協議的存儲模塊；每個所述節點均承擔聚合任務，所有所述節點的聚合合起來是基于區塊鏈的聯邦學習系統的聚合信息；每個所述節點從前驅節點處獲得加密信息，并將本地的加密信息與獲得的所述加密信息相加，得到新的加密信息；所述新的加密信息傳遞給后繼節點；累加后的所述加密信息被最后的節點解密，并用于全局訓練模型的更新，得到最新的全局模型。

2.如權利要求1所述的基于區塊鏈的聯邦學習系統，其特征在于，所述基于區塊鏈技術的智能合約模塊包含了訓練控制模塊和密鑰管理模塊；

所述訓練控制模塊用于在所述聯邦學習過程中的每一輪學習前隨機生成包含每個參與所述聯邦學習的節點的拓撲結構，在所述聯邦學習過程中與各所述節點通信，通知各所述節點已有的聚合信息，并收集各所述節點進一步聚合后的信息；

所述密鑰管理模塊存儲了每個參與聯邦學習的節點上傳的公鑰信息。

3.如權利要求2所述的基于區塊鏈的聯邦學習系統，其特征在于，所述公鑰是用于同態加密的公鑰；每個所述公鑰與每個參與所述聯邦學習的所述節點一一對應，在所述聯邦學習開始前被密鑰管理模塊記錄。

4.一種基于區塊鏈的聯邦學習方法，其特征在于，包括如下步驟：

S1：所有參與聯邦學習的節點在基于區塊鏈技術的智能合約模塊的密鑰管理模塊登記公鑰，并彼此協商訓練模型的結構、初始參數信息和最大訓練輪數；

S2：所述節點利用本地數據對所述訓練模型進行本地訓練，并記錄所述訓練模型的變化值；所述節點從所述密鑰管理模塊獲取本輪訓練所使用的同態加密的公鑰，并將所述訓練模型的變化值進行加密；

S3：所述節點根據拓撲緩存中的拓撲結構信息，確定所述節點在當前拓撲結構中的位置；

S4：所述節點在訓練控制模塊的通知下，依次對加密的所述訓練模型的變化值進行累加聚合；

S5：所述節點的聚合結束后，所述拓撲結構上的最后一個節點對聚合信息進行解密，并對全局模型參數進行更新；

S6：各個所述節點獲取最新的全局模型參數，并更新所述訓練模型；

S7：所述節點循環訓練至所述訓練模型收斂或達到預先協商的最大訓練輪數，此時停止訓練。

5.如權利要求4所述的基于區塊鏈的聯邦學習方法，其特征在于，所述本地訓練的訓練樣本數由所述節點決定；

所述拓撲緩存中的拓撲結構信息由所述訓練控制模塊在每一輪訓練開始前生成，所述拓撲緩存中的拓撲結構信息標志了各個所述節點進行聚合的先后順序。

6.如權利要求5所述的基于區塊鏈的聯邦學習方法，其特征在于，所述節點在所述訓練控制模塊的通知下沿著先后順序依次對加密信息進行累加；每個所述節點均承擔聚合的任務，所有所述節點的聚合合起來是基于區塊鏈的聯邦學習系統的聚合信息。

7.如權利要求6所述的基于區塊鏈的聯邦學習方法，其特征在于，在每一輪訓練開始前，所述訓練控制模塊選擇隨機一個所述節點，將所述節點作為本輪隨機生成的拓撲結構的最后一個節點，用于對所述聚合信息進行解密并更新全局模型；若選擇的所述節點在本輪訓練開始前出現故障，則所述訓練控制模塊重新選擇一個所述節點；若選擇的所述節點在本輪全局模型更新時出現故障，則所述訓練控制模塊通知所有節點將所述訓練模型回滾至本輪訓練開始前的狀態，再重新隨機選擇一個所述節點。

8.如權利要求7所述的基于區塊鏈的聯邦學習方法，其特征在于，在每一輪訓練過程中，若所述節點發生故障，所述訓練控制模塊會跳過故障節點，由所述故障節點的直接后繼節點繼續進行聚合。