[發(fā)明專利]一種橫向聯(lián)邦學(xué)習(xí)系統(tǒng)中拜占庭節(jié)點的檢測方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110851735.5
• 申請日: 2021-07-27
• 公開（公告）號: CN113554182B
• 公開（公告）日: 2023-09-19
• 發(fā)明（設(shè)計）人: 郭晶晶;劉玖樽;魏林鋒;黃斐然;劉志全
• 申請（專利權(quán)）人: 西安電子科技大學(xué)
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06F21/60;G06F18/241;G06F18/23
• 代理公司: 西安通大專利代理有限責(zé)任公司 61200
• 代理人: 房鑫

一種橫向聯(lián)邦學(xué)習(xí)系統(tǒng)中拜占庭節(jié)點的檢測方法及系統(tǒng)，檢測方法包括以下步驟：各參與方對自身本地模型進行加密得到加密本地模型并將其上傳；將各參與方的加密本地模型進行加權(quán)求和操作，得到加密全局模型并下發(fā)至各參與方；各參與方對加密全局模型進行解密，并通過計算解密之后的全局模型與自身本地模型的差值得到其余參與方的聚合模型；各參與方計算其余參與方的聚合模型與自身本地模型的距離；基于各參與方發(fā)送的距離構(gòu)造模型距離向量，計算模型距離向量中的異常點完成異常參與方檢測。本發(fā)明能夠?qū)崿F(xiàn)聯(lián)邦學(xué)習(xí)系統(tǒng)存在拜占庭參與方的情況下仍能得到精度較高的全局模型，從而提高聯(lián)邦學(xué)習(xí)系統(tǒng)的魯棒性以及學(xué)習(xí)結(jié)果的可信度。

技術(shù)領(lǐng)域

本發(fā)明屬于信息安全領(lǐng)域，涉及一種橫向聯(lián)邦學(xué)習(xí)系統(tǒng)中拜占庭節(jié)點的檢測方法及系統(tǒng)。

背景技術(shù)

聯(lián)邦學(xué)習(xí)(Federated?Learning)是一個機器學(xué)習(xí)框架，特點是多個參與方利用自身擁有的數(shù)據(jù)在唯一的聚合服務(wù)器的配合下協(xié)作得到訓(xùn)練模型，參與方將自身訓(xùn)練得到的本地模型上傳至聚合服務(wù)器，聚合服務(wù)器利用某種聚合規(guī)則對接收到的參與方本地模型進行聚合之后，得到一個全局模型供所有參與方共享。這種機器學(xué)習(xí)范式可以使得各參與方的本地訓(xùn)練數(shù)據(jù)不會與其他參與方及聚合服務(wù)器共享，從而保護參與方的數(shù)據(jù)隱私。

有學(xué)者發(fā)現(xiàn)，攻擊者有可能通過各參與方上傳的本地模型信息來推斷參與方的隱私信息，為了抵御這種攻擊，研究人員設(shè)計了多種聯(lián)邦學(xué)習(xí)中參與方本地模型的隱私保護方案，并設(shè)計了相應(yīng)的安全聚合規(guī)則。這些方案主要基于差分隱私或同態(tài)加密技術(shù)實現(xiàn)，目的為令聚合服務(wù)器或其它攻擊者無法直接觀察到每個參與方的明文本地模型信息，有效地保護了參與方的數(shù)據(jù)和模型隱私。現(xiàn)有的多數(shù)聯(lián)邦學(xué)習(xí)算法通常假設(shè)各參與方均為誠實的，即參與方將會上傳有效數(shù)據(jù)訓(xùn)練生成的真實模型數(shù)據(jù)，然而實際環(huán)境中這種假設(shè)并非總是成立。參與方可以修改真實本地模型或者直接生成隨機本地模型上傳至聚合服務(wù)器，從而導(dǎo)致聚合服務(wù)器得到錯誤全局模型，這類參與方稱為拜占庭節(jié)點或惡意參與方。當(dāng)前一些學(xué)者提出了聯(lián)邦學(xué)習(xí)系統(tǒng)惡意參與方的檢測方法，然而這些方法均假設(shè)各參與方上傳明文本地模型信息至聚合服務(wù)器。隱私保護的聯(lián)邦學(xué)習(xí)算法中，各參與方所上傳的本地模型信息會經(jīng)過隱私保護技術(shù)處理，使得現(xiàn)有針對參與方上傳明文的異常檢測方案無法適用于隱私保護的聯(lián)邦學(xué)習(xí)系統(tǒng)。

發(fā)明內(nèi)容

本發(fā)明的目的在于針對上述現(xiàn)有技術(shù)中的問題，提供一種橫向聯(lián)邦學(xué)習(xí)系統(tǒng)中拜占庭節(jié)點的檢測方法及系統(tǒng)，可以在參與方的本地模型信息通過隱私保護技術(shù)(基于同態(tài)加密)處理上傳至聚合服務(wù)器的情況下，檢測出上傳異常信息的惡意參與方。

為了實現(xiàn)上述目的，本發(fā)明有如下的技術(shù)方案：

一種橫向聯(lián)邦學(xué)習(xí)系統(tǒng)中拜占庭節(jié)點的檢測方法，包括以下步驟：

各參與方對自身本地模型進行加密得到加密本地模型并將其上傳；

將各參與方的加密本地模型進行加權(quán)求和操作，得到加密全局模型并下發(fā)至各參與方；

各參與方對加密全局模型進行解密，并通過計算解密之后的全局模型與自身本地模型的差值得到其余參與方的聚合模型；

各參與方計算其余參與方的聚合模型與自身本地模型的距離；

基于各參與方發(fā)送的距離構(gòu)造模型距離向量，計算模型距離向量中的異常點完成異常參與方檢測。

作為本發(fā)明檢測方法的一種優(yōu)選方案，各參與方利用本地數(shù)據(jù)進行模型訓(xùn)練，對訓(xùn)練得到的本地模型通過Paillier同態(tài)加密算法進行加密得到加密本地模型。

作為本發(fā)明檢測方法的一種優(yōu)選方案，對于參與方u_i，利用其本地數(shù)據(jù)集d_i進行模型訓(xùn)練，得到本地模型其中，本地模型的參數(shù)按照特定順序組成本地模型向量參與學(xué)習(xí)的數(shù)據(jù)總量為|D|，pk為公鑰；

利用下式對本地模型向量中所有元素進行加密：