[發(fā)明專利]一種基于區(qū)塊鏈的聯(lián)邦學(xué)習(xí)訓(xùn)練方法、系統(tǒng)、設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202310328180.5
• 申請日: 2023-03-30
• 公開（公告）號: CN116415690A
• 公開（公告）日: 2023-07-11
• 發(fā)明（設(shè)計）人: 胡雪暉;朱靜熹;石榮泉;褚學(xué)森;洪華軍;吳天祺;郭偉;李金庫
• 申請（專利權(quán)）人: 上海同態(tài)信息科技有限責(zé)任公司;中國船舶科學(xué)研究中心;西安電子科技大學(xué)
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06F21/64
• 代理公司: 北京眾澤信達(dá)知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11701
• 代理人: 葉靜

本發(fā)明提供一種基于區(qū)塊鏈的聯(lián)邦學(xué)習(xí)訓(xùn)練方法、系統(tǒng)、設(shè)備及存儲介質(zhì)，通過將本地客戶端節(jié)點加入組成區(qū)塊鏈網(wǎng)絡(luò)，在根據(jù)多種智能合約的協(xié)同，將本地客戶端節(jié)點訓(xùn)練的局部模型梯度在區(qū)塊鏈網(wǎng)絡(luò)節(jié)點上進(jìn)行聚合，最終實現(xiàn)去中心化的、高效的聯(lián)邦學(xué)習(xí)訓(xùn)練方法，克服了現(xiàn)有技術(shù)存在的單點故障問題及訓(xùn)練數(shù)據(jù)無法驗證審核的問題。

技術(shù)領(lǐng)域

本發(fā)明涉及機(jī)器學(xué)習(xí)訓(xùn)練領(lǐng)域，特別涉及一種基于區(qū)塊鏈的聯(lián)邦學(xué)習(xí)訓(xùn)練方法、系統(tǒng)、設(shè)備及存儲介質(zhì)，利用區(qū)塊鏈技術(shù)解決目前聯(lián)邦學(xué)習(xí)存在的問題。

背景技術(shù)

當(dāng)今社會，數(shù)據(jù)隱私和數(shù)據(jù)安全問題已經(jīng)成為一個越來越嚴(yán)重的問題。傳統(tǒng)的機(jī)器學(xué)習(xí)方法通常需要集中式數(shù)據(jù)存儲和處理，這意味著數(shù)據(jù)必須被收集到一個地方才能被用于訓(xùn)練模型，這可能會導(dǎo)致數(shù)據(jù)隱私泄露和安全性問題。

聯(lián)邦學(xué)習(xí)(Federated?Learning)是一種分布式機(jī)器學(xué)習(xí)方法，它允許多個設(shè)備在本地訓(xùn)練模型，并將訓(xùn)練結(jié)果上傳到中央服務(wù)器進(jìn)行聚合，從而實現(xiàn)模型的更新和改進(jìn)，而不需要將原始數(shù)據(jù)集集中在一個地方。聯(lián)邦學(xué)習(xí)的出現(xiàn)主要是為了解決中心化訓(xùn)練模型所面臨的隱私和安全問題。傳統(tǒng)的機(jī)器學(xué)習(xí)方法通常需要將原始數(shù)據(jù)集集中在一個地方進(jìn)行訓(xùn)練，但是這種方法會暴露數(shù)據(jù)隱私，并且可能會遭受攻擊。而聯(lián)邦學(xué)習(xí)通過在本地訓(xùn)練模型并將模型更新上傳到中央服務(wù)器進(jìn)行聚合的方式，保護(hù)了數(shù)據(jù)隱私和安全性，同時也減輕了中央服務(wù)器的負(fù)擔(dān)。

當(dāng)使用聯(lián)邦學(xué)習(xí)時，中央服務(wù)器通常被用來聚合設(shè)備或用戶的本地模型更新，以更新全局模型。這種設(shè)計確實解決了一些隱私和數(shù)據(jù)安全問題，但同時也存在一些缺點。

在傳統(tǒng)的聯(lián)邦學(xué)習(xí)中，中央服務(wù)器是整個系統(tǒng)的核心，如果中央服務(wù)器遭受攻擊或者出現(xiàn)故障，整個系統(tǒng)都將無法正常運行。此外，由于中央服務(wù)器需要處理大量的本地模型更新，這可能導(dǎo)致服務(wù)器性能問題和可用性問題。因此，當(dāng)中央服務(wù)器成為系統(tǒng)的單點故障時，系統(tǒng)的安全性和可靠性都會受到影響。

此外，聯(lián)邦學(xué)習(xí)中存在惡意節(jié)點問題，惡意節(jié)點可能會故意提交錯誤的數(shù)據(jù)或者篡改其他參與方的數(shù)據(jù)，從而影響模型的訓(xùn)練和準(zhǔn)確性。智能合約(Smart?Contract)是一種基于區(qū)塊鏈技術(shù)的自動化合約，可以在沒有第三方的情況下實現(xiàn)可編程的、自動化的交易和執(zhí)行，從而使得合約的執(zhí)行更加公平、透明、高效和安全。智能合約通常是以代碼的形式編寫的，它們被嵌入在區(qū)塊鏈網(wǎng)絡(luò)中，并通過區(qū)塊鏈節(jié)點的共識機(jī)制來執(zhí)行和驗證。智能合約可以執(zhí)行各種各樣的任務(wù)，例如，數(shù)字貨幣的交易、資產(chǎn)管理、數(shù)據(jù)存儲和權(quán)限管理等。智能合約的一個重要特點是自動化執(zhí)行。一旦智能合約被編寫和發(fā)布，它就會自動執(zhí)行，不需要人為干預(yù)或第三方機(jī)構(gòu)的介入。這使得智能合約的執(zhí)行更加快速、高效、可靠和安全。智能合約的另一個特點是去中心化。智能合約不依賴于任何單一的中心化機(jī)構(gòu)，而是基于區(qū)塊鏈網(wǎng)絡(luò)中的多個節(jié)點，這意味著智能合約的執(zhí)行更加公平、透明和去中心化。

發(fā)明內(nèi)容

本發(fā)明的旨在解決當(dāng)前聯(lián)邦學(xué)習(xí)中存在的兩個重要問題：單點故障和訓(xùn)練數(shù)據(jù)可審計問題，提出了一種基于區(qū)塊鏈的聯(lián)邦學(xué)習(xí)訓(xùn)練方法、系統(tǒng)、設(shè)備及存儲介質(zhì)。本發(fā)明提供的聯(lián)邦學(xué)習(xí)訓(xùn)練方法包括至少一個客戶端節(jié)點、梯度聚合節(jié)點、第一合約、第二合約，具體訓(xùn)練步驟如下：

步驟一，至少一個客戶端節(jié)點利用本地數(shù)據(jù)集進(jìn)行訓(xùn)練，每個客戶端節(jié)點生成一個客戶端模型梯度，并將客戶端模型梯度發(fā)送至梯度聚合節(jié)點及第一合約；

步驟二，梯度聚合節(jié)點將接收到的全部客戶端模型梯度聚合為全局梯度，并將全局梯度發(fā)送至第二合約；

步驟三，客戶端節(jié)點從第二合約中獲取全局梯度，并繼續(xù)執(zhí)行步驟一。

具體的，在步驟一前還包括：客戶端節(jié)點采用ECDSA或者國密SM2算法生成公鑰和私鑰，并將公鑰發(fā)送給區(qū)塊鏈節(jié)點；區(qū)塊鏈節(jié)點將收到的公鑰在區(qū)塊鏈網(wǎng)絡(luò)中公開，并將區(qū)塊鏈節(jié)點的網(wǎng)絡(luò)配置發(fā)送給客戶端節(jié)點。

進(jìn)一步的，步驟一還包括：客戶端節(jié)點將客戶端模型梯度對應(yīng)的任務(wù)編號、訓(xùn)練輪次以及客戶端節(jié)點的簽名發(fā)送至梯度聚合節(jié)點及第一合約。