[發(fā)明專利]一種基于區(qū)塊鏈的聯(lián)邦學習方法及裝置

在審

• 申請?zhí)枺?/td>: 201911304630.7
• 申請日: 2019-12-17
• 公開（公告）號: CN111125779A
• 公開（公告）日: 2020-05-08
• 發(fā)明（設(shè)計）人: 孫善寶;羅清彩;金長新;徐馳;譚強;于玲
• 申請（專利權(quán)）人: 山東浪潮人工智能研究院有限公司
• 主分類號: G06F21/64
• 分類號: G06F21/64;G06N20/00
• 代理公司: 北京君慧知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11716
• 代理人: 董延麗

1.一種基于區(qū)塊鏈的聯(lián)邦學習方法，其特征在于，包括：

確定預先創(chuàng)建的區(qū)塊鏈，其中，所述區(qū)塊鏈的節(jié)點中至少包括參與聯(lián)邦學習的參與者節(jié)點、處理所述聯(lián)邦學習中數(shù)據(jù)的協(xié)調(diào)者節(jié)點；

所述協(xié)調(diào)者節(jié)點根據(jù)各所述參與者節(jié)點發(fā)送的模型原始數(shù)據(jù)，創(chuàng)建聯(lián)邦學習任務(wù)，并將所述聯(lián)邦學習任務(wù)寫入所述區(qū)塊鏈；

接收所述參與者節(jié)點在本地訓練得到的訓練數(shù)據(jù)，并將所述訓練數(shù)據(jù)寫入所述區(qū)塊鏈中；

根據(jù)所述訓練數(shù)據(jù)向其他所述參與者節(jié)點發(fā)送待更新參數(shù)，以使所述其他參與者節(jié)點根據(jù)所述待更新參數(shù)更新自身的模型參數(shù)；

在模型訓練完成后，根據(jù)本次訓練過程中各參與者節(jié)點提供的所述訓練數(shù)據(jù)發(fā)放獎勵資源，并將所述獎勵資源寫入所述區(qū)塊鏈中。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，接收所述參與者節(jié)點在本地訓練得到的訓練數(shù)據(jù)，包括：

接收所述參與者節(jié)點在本地訓練得到的中間梯度數(shù)據(jù)；

將所述中間梯度數(shù)據(jù)發(fā)送至對應的目標參與者節(jié)點處；

接收所述目標參與者節(jié)點返回的，根據(jù)自身所擁有的標簽數(shù)據(jù)訓練所述模型生成的第一反饋數(shù)據(jù)；

根據(jù)所述第一反饋數(shù)據(jù)確定在本輪訓練中的總梯度數(shù)據(jù)；

根據(jù)所述訓練數(shù)據(jù)向其他所述參與者節(jié)點發(fā)送待更新參數(shù)，包括：

根據(jù)所述總梯度數(shù)據(jù)向其他所述參與者節(jié)點發(fā)送待更新參數(shù)。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，根據(jù)本次訓練過程中各參與者節(jié)點提供的所述訓練數(shù)據(jù)發(fā)放獎勵資源，包括：

根據(jù)本次訓練過程中各參與者節(jié)點提供的所述訓練數(shù)據(jù)，以及所述訓練數(shù)據(jù)對模型的提升效果發(fā)放獎勵資源，其中，所述訓練數(shù)據(jù)包括所述中間梯度數(shù)據(jù)和所述第一反饋數(shù)據(jù)。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，將所述中間梯度數(shù)據(jù)發(fā)送至對應的目標參與者節(jié)點處之后，所述方法還包括：

接收所述目標參與者節(jié)點返回的，表示自身未擁有相應的標簽數(shù)據(jù)的第二反饋數(shù)據(jù)；

將所述中間梯度數(shù)據(jù)發(fā)送至其他的目標參與者節(jié)點處。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)所述訓練數(shù)據(jù)向其他所述參與者節(jié)點發(fā)送待更新參數(shù)之前，所述方法還包括：

根據(jù)自身所收到的歷史訓練數(shù)據(jù)，確定不存在與所述訓練數(shù)據(jù)相同的所述歷史訓練數(shù)據(jù)。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述區(qū)塊鏈中包括管理節(jié)點、背書節(jié)點和記賬節(jié)點，并且所述區(qū)塊鏈中部署有智能合約；

所述管理節(jié)點，用于控制外部節(jié)點是否允許作為參與者節(jié)點部署在所述區(qū)塊鏈中；

所述背書節(jié)點，用于執(zhí)行所述智能合約，并將執(zhí)行結(jié)果發(fā)送至所述記賬節(jié)點；

所述記賬節(jié)點，用于向相應的節(jié)點發(fā)送通知，并處理獎勵資源的發(fā)放和交易。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述智能合約包括所述模型原始數(shù)據(jù)、第三方驗證數(shù)據(jù)、所述訓練數(shù)據(jù)、所述獎勵資源中的至少一種。

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述智能合約用于：

在所述模型原始數(shù)據(jù)符合預設(shè)要求時，創(chuàng)建所述聯(lián)邦學習任務(wù)；或

通過所述第三方驗證數(shù)據(jù)對所述模型的效果進行驗證，并將驗證結(jié)果寫入所述區(qū)塊鏈中；或

根據(jù)所述訓練數(shù)據(jù)發(fā)放所述獎勵資源。

9.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述方法還包括：

接收第一參與者節(jié)點發(fā)送的推理計算需求信息；

向第二參與者節(jié)點發(fā)送所述推理計算需求信息，以使所述第二參與者節(jié)點輔助所述第一參與者節(jié)點進行推理計算，并在推理計算結(jié)束后，接收所述第一參與者節(jié)點發(fā)送的代幣作為本次交易的報酬。

10.一種基于區(qū)塊鏈的聯(lián)邦學習裝置，其特征在于，包括：

確定模塊，確定預先創(chuàng)建的區(qū)塊鏈，其中，所述區(qū)塊鏈的節(jié)點中至少包括參與聯(lián)邦學習的參與者節(jié)點、處理所述聯(lián)邦學習中數(shù)據(jù)的協(xié)調(diào)者節(jié)點；

創(chuàng)建模塊，所述協(xié)調(diào)者節(jié)點根據(jù)各所述參與者節(jié)點發(fā)送的模型原始數(shù)據(jù)，創(chuàng)建聯(lián)邦學習任務(wù)，并將所述聯(lián)邦學習任務(wù)寫入所述區(qū)塊鏈；

接收模塊，接收所述參與者節(jié)點在本地訓練得到的訓練數(shù)據(jù)，并將所述訓練數(shù)據(jù)寫入所述區(qū)塊鏈中；

更新模塊，根據(jù)所述訓練數(shù)據(jù)向其他所述參與者節(jié)點發(fā)送待更新參數(shù)，以使所述其他參與者節(jié)點根據(jù)所述待更新參數(shù)更新自身的模型參數(shù)；

獎勵模塊，在模型訓練完成后，根據(jù)本次訓練過程中各參與者節(jié)點提供的所述訓練數(shù)據(jù)發(fā)放獎勵資源，并將所述獎勵資源寫入所述區(qū)塊鏈中。