[發(fā)明專利]一種面向聯(lián)邦學(xué)習(xí)的對(duì)抗樣本投毒攻擊方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210276358.1
• 申請(qǐng)日: 2022-03-21
• 公開（公告）號(hào): CN114764499A
• 公開（公告）日: 2022-07-19
• 發(fā)明（設(shè)計(jì)）人: 代曉蕊;王波
• 申請(qǐng)（專利權(quán)）人: 大連理工大學(xué)
• 主分類號(hào): G06F21/55
• 分類號(hào): G06F21/55;G06K9/62
• 代理公司: 大連智高專利事務(wù)所(特殊普通合伙) 21235
• 代理人: 馬慶朝

一種面向聯(lián)邦學(xué)習(xí)的對(duì)抗樣本投毒攻擊方法，定義如下場景，假設(shè)有m個(gè)參與者參與訓(xùn)練，m＝2，假設(shè)第k個(gè)參與方是攻擊者，其攻擊的目標(biāo)是其本地模型參數(shù)在參與聚合后，使得聯(lián)邦學(xué)習(xí)全局模型在測試集上的性能盡可能差；首先，攻擊者通過給本地私有訓(xùn)練樣本添加一些人眼無法察覺的對(duì)抗擾動(dòng)以生成“有毒”的對(duì)抗樣本，并基于這些樣本進(jìn)行本地訓(xùn)練；其次，為了主導(dǎo)全局模型的訓(xùn)練過程，攻擊者在本地訓(xùn)練過程中提高訓(xùn)練學(xué)習(xí)率以加速惡意模型參數(shù)的生成；最后，攻擊者將其本地模型參數(shù)上傳至服務(wù)器端參與聚合以影響全局模型。在本發(fā)明的攻擊下聯(lián)邦全局模型性能顯著下降，本發(fā)明的攻擊方法顯示出良好地泛化性能。

技術(shù)領(lǐng)域

本發(fā)明屬于聯(lián)邦學(xué)習(xí)安全技術(shù)領(lǐng)域，具體涉及一種面向聯(lián)邦學(xué)習(xí)的對(duì)抗樣本投毒攻擊方法。

背景技術(shù)

盡管機(jī)器學(xué)習(xí)技術(shù)已經(jīng)廣泛應(yīng)用于各個(gè)領(lǐng)域，然而數(shù)據(jù)孤島和數(shù)據(jù)隱私問題仍然是阻礙其發(fā)展的兩大挑戰(zhàn)，如:在醫(yī)療應(yīng)用方面，要訓(xùn)練一個(gè)性能良好的機(jī)器學(xué)習(xí)模型，需要各個(gè)醫(yī)療機(jī)構(gòu)或者部門提供大量可以描述患者癥狀的信息，而醫(yī)療數(shù)據(jù)往往具有很強(qiáng)的隱私性和敏感性。同樣，在一個(gè)城市的應(yīng)急、后勤和安保等信息部門中會(huì)產(chǎn)生大量的異構(gòu)數(shù)據(jù)，這些數(shù)據(jù)以數(shù)據(jù)孤島的形式存在，無法整合利用。為了解決上述問題，聯(lián)邦學(xué)習(xí)技術(shù)應(yīng)運(yùn)而生，不同于機(jī)器學(xué)習(xí)模型，它采用分布式的架構(gòu)，不需將數(shù)據(jù)集中存儲(chǔ)后再進(jìn)行模型訓(xùn)練，而是將該過程轉(zhuǎn)移至本地訓(xùn)練參與方，通過向中心服務(wù)器提交本地模型參數(shù)的方式保護(hù)用戶隱私。

然而，研究表明，盡管聯(lián)邦學(xué)習(xí)有效的解決了機(jī)器學(xué)習(xí)中的數(shù)據(jù)孤島和數(shù)據(jù)隱私問題，但是其仍然存在很多安全問題，如:惡意參與方在訓(xùn)練階段對(duì)聯(lián)邦學(xué)習(xí)系統(tǒng)進(jìn)行攻擊，這會(huì)導(dǎo)致聯(lián)邦學(xué)習(xí)全局模型失效和參與方隱私泄露等問題。根據(jù)惡意參與方的攻擊目的不同，可分為推理攻擊和投毒攻擊。惡意參與方對(duì)聯(lián)邦學(xué)習(xí)進(jìn)行推理攻擊旨在推理訓(xùn)練過程的信息，如:其他參與方的訓(xùn)練樣本和標(biāo)簽等；惡意參與方通過控制本地模型參數(shù)更新或者本地訓(xùn)練樣本實(shí)現(xiàn)對(duì)聯(lián)邦學(xué)習(xí)系統(tǒng)的投毒攻擊，使得全局模型進(jìn)行錯(cuò)誤預(yù)測。具體地，可分為模型投毒攻擊和數(shù)據(jù)投毒攻擊。目前，對(duì)聯(lián)邦學(xué)習(xí)的數(shù)據(jù)投毒攻擊的研究主要集中在標(biāo)簽反轉(zhuǎn)攻擊和后門攻擊，它們都是針對(duì)聯(lián)邦學(xué)習(xí)的有目標(biāo)攻擊，目的是使全局模型實(shí)現(xiàn)對(duì)特定目標(biāo)的預(yù)測。另一種對(duì)訓(xùn)練樣本進(jìn)行修改以實(shí)現(xiàn)攻擊的方法是在訓(xùn)練樣本中加入噪聲，但是此類攻擊主要是在模型測試階段進(jìn)行。目前，將此類攻擊應(yīng)用在聯(lián)邦學(xué)習(xí)的訓(xùn)練階段的研究相對(duì)較少。

發(fā)明內(nèi)容

為了解決上述存在的問題，本發(fā)明提出：包括如下步驟：

S1、攻擊者通過給本地私有訓(xùn)練樣本添加一些人眼無法察覺的對(duì)抗擾動(dòng)以生成“有毒”的對(duì)抗樣本，并基于這些樣本進(jìn)行本地訓(xùn)練；

S2、為了主導(dǎo)全局模型的訓(xùn)練過程，攻擊者在本地訓(xùn)練過程中提高訓(xùn)練學(xué)習(xí)率以加速惡意模型參數(shù)的生成；

S3、攻擊者將其本地模型參數(shù)上傳至服務(wù)器端參與聚合以影響全局模型。

本發(fā)明的有益效果為：

不同于傳統(tǒng)的機(jī)器學(xué)習(xí)，在聯(lián)邦學(xué)習(xí)系統(tǒng)中，一方面，在服務(wù)器端需要對(duì)各個(gè)本地參數(shù)進(jìn)行聯(lián)邦平均聚合，這會(huì)對(duì)惡意參與方的參數(shù)進(jìn)行縮小，從而削弱了惡意端的毒性。另一方面，聚合過程中其他非惡意參與方也會(huì)使得最終模型參數(shù)偏移攻擊者的模型參數(shù)，進(jìn)一步削弱攻擊效果。

本發(fā)明針對(duì)聯(lián)邦學(xué)習(xí)系統(tǒng)的對(duì)抗樣本的投毒攻擊證明了對(duì)抗樣本不僅在測試階段可以攻擊聯(lián)邦學(xué)習(xí)系統(tǒng)，在訓(xùn)練階段也會(huì)對(duì)聯(lián)邦學(xué)習(xí)系統(tǒng)造成巨大的威脅。此外，本發(fā)明研究發(fā)現(xiàn)，學(xué)習(xí)率是影響攻擊成功率的一個(gè)重要的因素，實(shí)驗(yàn)表明惡意參與方使用對(duì)抗樣本和較大的學(xué)習(xí)率進(jìn)行本地訓(xùn)練可以有效的攻擊連聯(lián)邦學(xué)習(xí)系統(tǒng)，使得全局模型的測試準(zhǔn)確率顯著下降。同時(shí)，實(shí)驗(yàn)結(jié)果顯示，本發(fā)明的攻擊方法具有很好地泛化性能，當(dāng)訓(xùn)練參與方的模型發(fā)生改變時(shí)仍然具有很好的攻擊效果。在本發(fā)明的攻擊下，相比機(jī)器學(xué)習(xí)，聯(lián)邦學(xué)習(xí)系統(tǒng)更加脆弱。

附圖說明