[發明專利]一種聯邦學習中在黑盒場景下基于對抗樣本的魯棒水印遺忘驗證方法

有效

• 申請號: 202210826339.1
• 申請日: 2022-07-13
• 公開（公告）號: CN115168210B
• 公開（公告）日: 2023-06-23
• 發明（設計）人: 高向珊;王竟亦;程鵬;陳積明
• 申請（專利權）人: 浙江大學
• 主分類號: G06F11/36
• 分類號: G06F11/36;G06F18/214;G06N20/00
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 劉靜

本發明公開了一種聯邦學習中在黑盒場景下基于對抗樣本的魯棒水印遺忘驗證方法，通過在遺忘用戶本地數據集中隨機篩選部分樣本，進行數據增廣，利用對抗樣本生成方法在增廣后的數據上微調生成對抗樣本。將本地模型在這些對抗樣本和原有的本地數據上進行對抗訓練，生成更加魯棒的嵌入水印后的本地模型上傳給中心服務器聚合。遺忘用戶通過黑盒訪問接下來若干個周期的全局模型，根據全局模型在這些對抗樣本上的輸出提取水印，驗證遺忘情況。本發明方法具有魯棒性強，驗證效果好，對于數據分布依賴小，黑盒訪問全局模型避免公平性問題，對于遺忘驗證結果提供理論保證等優點，可以有效鑒別遺忘與否，能夠廣泛應用和部署在各種需要進行遺忘驗證的場景中。

技術領域

本發明涉及聯邦學習數據遺忘驗證領域，具體涉及一種聯邦學習中在黑盒場景下基于對抗樣本的魯棒水印遺忘驗證方法。

背景技術

聯邦學習是一種分布式保隱私的新型學習框架，所有參與者可以實現在數據保留在本地的前提下，只需貢獻相應的模型更新就可以共同訓練一個強大的模型，在一定程度上保護了用戶的隱私。但同時，作為一個實時更新，多人參與的學習框架，聯邦學習面臨著一個嚴峻的問題，即當之前參與學習的用戶提出離開聯邦時，應切實刪除他們的私人數據，保證不再使用。這種做法可以進一步緩解用戶的擔憂，提升用戶對于聯邦學習的信任度。已經有一些數據法案明確規定了用戶享有數據遺忘權，例如通用數據保護法規(GDPR)和加州消費者隱私法(CCPA)等。國外的一些大型互聯網企業(谷歌和蘋果)也在日漸嚴苛的法律要求下開始落實對于數據遺忘權的保護措施。學術圈已有一些關于主動遺忘的工作，包括重訓練等。然而，如何執行具體的遺忘操作不是遺忘用戶真正關心的，用戶所關心的是是否提供了可以量化的驗證手段檢查服務器端是否切實執行了一些有效的遺忘方法。然而聯邦學習中的遺忘驗證不能通過簡單的遺忘用戶的個人數據上的性能判斷，因為聯邦學習是一種分布式協作學習框架，個人退出對于大規模聯邦學習的影響較小，其他人的貢獻使得聯邦學習的全局模型依然能在遺忘用戶的個人數據上維持較好的性能。同時，考慮到驗證遺忘時，需要接觸全局模型，而此時的全局模型已經不再是由遺忘用戶貢獻的，因此遺忘用戶不應該再以白盒的方式訪問全局模型，這會引發公平性問題。服務器也可能采取一些適應性手段來欺騙遺忘驗證方法。因此，如何設計一種安全魯棒的黑盒場景下的聯邦遺忘驗證算法以高效可靠可信地驗證服務器端的遺忘情況，是目前有效驗證數據遺忘權是否被正常提供的一大難題。

一種有效驗證聯邦學習中的數據遺忘的可能解決方案是以某種方式標記遺忘用戶，并檢查該遺忘用戶離開后標記是否被清除。潛在的假設是，標記可以有效地唯一標記該遺忘用戶。完整的驗證過程分為兩個階段：標記和檢查。聯邦遺忘驗證中的標記功能需要一些特定的特征，包括專一性(特定屬于離開用戶)、持久性(持久驗證遺忘)、魯棒性(針對服務器端采用的一些適應性的試圖欺騙遺忘驗證方法的手段)等。針對每種標記方法，檢查全局模型在標記/驗證數據上的性能，評估服務器端是否切實執行了相應的遺忘措施。

發明內容

針對現有聯邦學習遺忘驗證的匱乏，本發明公開了一種聯邦學習中在黑盒場景下基于對抗樣本的魯棒水印遺忘驗證方法，該方法利用被遺忘的模型在對抗樣本上的魯棒性能來形成特定的水印標記遺忘用戶和驗證遺忘情況。

本發明的目的是通過以下技術方案來實現的：一種聯邦學習中在黑盒場景下基于對抗樣本的魯棒水印遺忘驗證方法，該方法利用被遺忘的模型在對抗樣本上的魯棒性能來形成特定的水印標記遺忘用戶和驗證遺忘情況，該方法包括數據自動篩選階段、數據增廣階段、對抗樣本生成階段、對抗訓練階段、以及檢查遺忘階段；

所述數據自動篩選階段，隨機篩選出遺忘用戶本地數據集S中的固定比例的數據集S1；

所述數據增廣階段，對S1中的數據進行基礎的數據增廣，包括切換視角、隨機模糊、色彩抖動和隨機旋轉，形成增廣后的數據集S2；

所述對抗樣本生成階段，利用對抗樣本生成算法微調S2中的增廣數據生成對應的對抗樣本，這些對抗樣本在人眼看上去與正常樣本差別不大，但輸入到模型中將得到完全不同的輸出；將這些對抗樣本和它們正確的類別組合得到驗證數據集S3；