[發(fā)明專利]消息處理方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202010888544.1
• 申請(qǐng)日: 2020-08-28
• 公開（公告）號(hào): CN111970304A
• 公開（公告）日: 2020-11-20
• 發(fā)明（設(shè)計(jì)）人: 鄧建全;張瑩;孟菲;黃佐偉;劉爾凱;丁永建;李璠
• 申請(qǐng)（專利權(quán)）人: 光大科技有限公司
• 主分類號(hào): H04L29/06
• 分類號(hào): H04L29/06;H04L9/00;G06N3/08
• 代理公司: 北京康信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11240
• 代理人: 江舟

本發(fā)明公開了一種消息處理方法和裝置。其中，該方法包括：獲取聯(lián)邦學(xué)習(xí)中的參與方發(fā)送的多個(gè)梯度消息，其中，每個(gè)梯度消息中分別包括第一梯度值，第一梯度值為參與方使用本地的數(shù)據(jù)對(duì)從聯(lián)邦學(xué)習(xí)過程中獲取到的第一模型進(jìn)行訓(xùn)練后，所得到的第一模型的模型參數(shù)；獲取多個(gè)梯度消息各自對(duì)應(yīng)的第一梯度值；根據(jù)多個(gè)第一梯度值融合得到目標(biāo)梯度值；將目標(biāo)梯度值發(fā)送給聯(lián)邦學(xué)習(xí)中的協(xié)調(diào)方，以使協(xié)調(diào)方使用目標(biāo)梯度值更新協(xié)調(diào)方本地存儲(chǔ)的第一模型。本發(fā)明解決了聯(lián)邦學(xué)習(xí)中參與方的數(shù)據(jù)安全性低的技術(shù)問題。

技術(shù)領(lǐng)域

本發(fā)明涉及神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練領(lǐng)域，具體而言，涉及一種消息處理方法和裝置。

背景技術(shù)

現(xiàn)有技術(shù)中，在聯(lián)邦學(xué)習(xí)的過程中，參與方將模型訓(xùn)練的梯度值發(fā)送給協(xié)調(diào)方，以使協(xié)調(diào)方按照梯度值對(duì)協(xié)調(diào)方的模型進(jìn)行訓(xùn)練。

然而，若是采用上述方法，則由于協(xié)調(diào)方可以獲取各個(gè)參與方的梯度值，因此，協(xié)調(diào)方可能搜集某個(gè)參與方發(fā)送的梯度值，在梯度值達(dá)到一定量之后，可以反推該參與方數(shù)據(jù)中的信息，從而造成參與方的數(shù)據(jù)泄密。

針對(duì)上述的問題，目前尚未提出有效的解決方案。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供了一種消息處理方法和裝置，以至少解決聯(lián)邦學(xué)習(xí)中參與方的數(shù)據(jù)安全性低的技術(shù)問題。

根據(jù)本發(fā)明實(shí)施例的一個(gè)方面，提供了一種消息處理方法，包括：獲取聯(lián)邦學(xué)習(xí)中的參與方發(fā)送的多個(gè)梯度消息，其中，每個(gè)上述梯度消息中分別包括第一梯度值，上述第一梯度值為上述參與方使用本地的數(shù)據(jù)對(duì)從上述聯(lián)邦學(xué)習(xí)過程中獲取到的第一模型進(jìn)行訓(xùn)練后，所得到的上述第一模型的模型參數(shù)；獲取上述多個(gè)梯度消息各自對(duì)應(yīng)的上述第一梯度值；根據(jù)多個(gè)上述第一梯度值融合得到目標(biāo)梯度值；將上述目標(biāo)梯度值發(fā)送給上述聯(lián)邦學(xué)習(xí)中的協(xié)調(diào)方，以使上述協(xié)調(diào)方使用上述目標(biāo)梯度值更新上述協(xié)調(diào)方本地存儲(chǔ)的上述第一模型。

根據(jù)本發(fā)明實(shí)施例的另一方面，還提供了一種消息處理裝置，包括：第一獲取單元，用于獲取聯(lián)邦學(xué)習(xí)中的參與方發(fā)送的多個(gè)梯度消息，其中，每個(gè)上述梯度消息中分別包括第一梯度值，上述第一梯度值為上述參與方使用本地的數(shù)據(jù)對(duì)從上述聯(lián)邦學(xué)習(xí)過程中獲取到的第一模型進(jìn)行訓(xùn)練后，所得到的上述第一模型的模型參數(shù)；第二獲取單元，用于獲取上述多個(gè)梯度消息各自對(duì)應(yīng)的上述第一梯度值；融合單元，用于根據(jù)多個(gè)上述第一梯度值融合得到目標(biāo)梯度值；發(fā)送單元，用于將上述目標(biāo)梯度值發(fā)送給上述聯(lián)邦學(xué)習(xí)中的協(xié)調(diào)方，以使上述協(xié)調(diào)方使用上述目標(biāo)梯度值更新上述協(xié)調(diào)方本地存儲(chǔ)的上述第一模型。

作為一種可選的實(shí)施例，上述發(fā)送單元包括：第一保存模塊，用于將上述目標(biāo)梯度值保存到區(qū)塊鏈上，以使上述協(xié)調(diào)方從上述區(qū)塊鏈上讀取上述目標(biāo)梯度值。

作為一種可選的實(shí)施例，上述發(fā)送單元還包括：第二保存模塊，用于在將上述目標(biāo)梯度值保存到上述區(qū)塊鏈上之后，將上述第一梯度值與發(fā)送上述第一梯度值的上述參與方的目標(biāo)標(biāo)識(shí)保存到上述區(qū)塊鏈上。

作為一種可選的實(shí)施例，上述第一獲取單元包括：第三保存模塊，用于在每獲取到一個(gè)上述梯度消息后，將上述梯度消息保存到消息隊(duì)列中；第二獲取模塊，用于在上述消息隊(duì)列中的上述梯度消息的數(shù)量達(dá)到N的情況下，或者計(jì)時(shí)器的計(jì)時(shí)時(shí)長達(dá)到預(yù)定時(shí)長的情況下，獲取上述消息隊(duì)列中所有的上述梯度消息，其中，上述N為預(yù)設(shè)的第一閾值，在獲取到上述消息隊(duì)列中所有的上述梯度消息之后，將上述計(jì)時(shí)器的上述計(jì)時(shí)時(shí)長置零。

作為一種可選的實(shí)施例，上述第三保存模塊包括：獲取子模塊，用于獲取使用同態(tài)加密公鑰加密后的上述梯度消息；保存子模塊，用于將使用上述同態(tài)加密公鑰加密后的上述梯度消息保存到上述消息隊(duì)列中。