[發明專利]一種區塊鏈聯邦學習系統及拜占庭攻擊檢測方法

有效

• 申請號: 202010963388.0
• 申請日: 2020-09-14
• 公開（公告）號: CN112100659B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 李宗航;虞紅芳;李晴;周天遙;羅龍;范末嬋;孫罡
• 申請（專利權）人: 電子科技大學
• 主分類號: G06F21/62
• 分類號: G06F21/62;G06F21/31;G06F21/55
• 代理公司: 北京正華智誠專利代理事務所(普通合伙) 11870
• 代理人: 何凡

1.一種區塊鏈聯邦學習系統，其特征在于，包括數據持有者、驗證器、計算節點和任務發布者；若干個驗證器構成驗證器組，每個驗證器組與一個計算節點相連接，每個數據持有者隨機與驗證器組中的任一驗證器相連接；所有計算節點構建區塊鏈網絡，并通過區塊鏈網絡與任務發布者相連；

所述數據持有者，擁有聯邦學習訓練的本地訓練數據，用于根據本地訓練數據訓練本地模型；

所述驗證器，用于驗證數據持有者提交的本地模型是否為拜占庭攻擊模型，對拜占庭攻擊模型進行阻攔，將誠實本地模型提交至計算節點，形成交易；其中拜占庭攻擊模型包括毒化攻擊模型和搭便車攻擊模型；

所述計算節點，用于根據驗證器提交的本地模型挖掘符合條件的平均模型，生成新區塊，在區塊鏈網絡中廣播新區塊以達成共識，并將新區塊上鏈；

所述任務發布者，用于生成創世塊，發布訓練任務和初始任務配置，為參與訓練的數據持有者、驗證器和計算節點分發訓練酬金；

區塊鏈聯邦學習系統的區塊鏈結構包含一個創世塊和序列的普通區塊，每個普通區塊根據前一區塊的哈希值索引到前一區塊；創世塊包括創世區塊頭和創世區塊體，創世區塊頭包含時間戳字段、目標輪數字段、第一當前輪數字段、第一驗證精度字段、全局模型哈希字段、最少交易數字段、可容忍的精度震蕩閾值字段和可容忍的精度偏差閾值字段；創世區塊體包含用于機器學習的超參數；

普通區塊包括普通區塊頭和普通區塊體，普通區塊頭包含創世區塊頭的所有字段，以及同態哈希密鑰字段、前一區塊哈希值字段和Merkle根字段；普通區塊體包含實際交易數，以及由若干個交易構建成的Merkle樹；

交易包括第二當前輪數字段、數據持有者ID字段、驗證器ID字段、本地模型哈希字段、同態哈希值字段和第二驗證精度字段；

區塊鏈聯邦學習系統采用星際文件系統存儲全局模型參數和本地模型參數，采用區塊鏈記錄全局模型參數和本地模型參數在星際文件系統中的存儲憑證，存儲憑證用于區塊鏈節點在星際文件系統中定位并下載對應的模型參數；存儲憑證包括全局模型哈希和本地模型哈希，分別對應全局模型參數和本地模型參數在星際文件系統中的存儲憑證；

其中根據本地訓練數據訓練本地模型的具體方法包括以下步驟：

S4-1、通過數據持有者H_s,n從其接入的驗證器下載上一輪次的全局模型參數ω^r-1，并將其作為本地模型參數；

S4-2、通過數據持有者H_s,n將本地訓練樣本按批數據大小b切分為編號(0,...,j,...,I_s,n/b-1)的小批量數據；表示邊緣云s中第n個數據持有者的第i條本地訓練樣本；H_s,n表示邊緣云s中第n個數據持有者；I_s,n表示邊緣云s中第n個數據持有者的本地訓練樣本總數；

S4-3、根據公式：

通過用I_s,n/b個小批量數據循環訓練本地模型參數EI_s,n/b次，得到遍歷本地訓練集E輪的訓練后的本地模型參數；其中為本次訓練后的本地模型參數，表示本次訓練前的本地模型參數，η為學習率，為本地模型參數在訓練樣本上根據梯度反向傳播算法計算的模型梯度，j為小批量數據編號計數器，初始值為0，每使用小批量數據訓練本地模型參數一次，其值變為(j+1)mod(I_s,n/b)，mod(·)表示求余函數；

S4-3、通過數據持有者將訓練好的本地模型參數提交至驗證器。

2.根據權利要求1所述的區塊鏈聯邦學習系統，其特征在于，相互連接的驗證器組與計算節點構成一個邊緣云，每個邊緣云內的邊緣服務器通過局域網互聯；數據持有者部署于智能終端設備上，通過有線和/或無線的邊緣網絡接入邊緣云。