[發明專利]一種基于生成對抗網絡的快速模型遺忘方法與系統

在審

• 申請號: 202210205229.3
• 申請日: 2022-03-02
• 公開（公告）號: CN114580530A
• 公開（公告）日: 2022-06-03
• 發明（設計）人: 陳孔陽;黃耀;王依文
• 申請（專利權）人: 廣州大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N20/00
• 代理公司: 北京高航知識產權代理有限公司 11530
• 代理人: 劉艷玲

一種基于生成對抗網絡的快速模型遺忘方法與系統，其方法包括：將與待遺忘數據分布相同的第三方數據輸入原始模型中，對原始模型的輸出結果進行排序，得到第一排序結果，將生成器初始化為原始模型，將待遺忘數據輸入到生成器中，將生成器輸出的結果進行排序處理，得到第二排序結果，利用第一排序結果和第二排序結果交替訓練生成器與判別器，直到判別器無法區分待遺忘數據在生成器上輸出與第三方數據在原始模型上輸出的分布差異，則停止訓練，對生成器進行成員推理攻擊，若攻擊結果為待遺忘數據且沒有被生成器訓練過，則遺忘成功，將被訓練后的生成器作為遺忘后的模型；本申請能夠加快在模型中遺忘數據的速度，尤其是在復雜的場景下，效果更明顯。

技術領域

本發明涉及深度學習技術領域，特別涉及一種基于生成對抗網絡的快速模型遺忘方法與系統。

背景技術

在機器學習中，尤其是在過參數化的深度學習中，經過數據訓練好的模型會記憶大量關于訓練數據的信息，這會給用戶帶來嚴重的隱私安全問題，比如攻擊者在拿到模型后，通過模型逆向攻擊可以從訓練好的模型中恢復訓練該模型的數據，即使是攻擊者在不知道模型內部細節的情況下，僅查詢模型的輸出，通過成員推理攻擊也能夠確定某個數據是否被用來訓練該模型。這些攻擊的存在側面說明了模型對訓練數據的記憶會給用戶的隱私構成嚴重威脅。因此，為了保護用戶的隱私，一些法律如歐洲的GDPR和美國的CCPA中，明確提出了“被遺忘的權利”，“被遺忘的權利”指的是用戶有權利向服務提供商提出徹底刪除數據的申請，服務提供商在收到用戶的申請后，不僅要在數據庫中刪除用戶的數據，還需要在基于用戶數據開發的上層應用中刪除用戶數據的痕跡，比如基于用戶數據訓練的機器學習模型。如果服務提供商在收到用戶的數據刪除請求后，不完全刪除用戶數據的痕跡，將會面臨巨額的罰款，而傳統的重新訓練、統計查詢和集成學習等方法在刪除數據時性能較差，不能滿足人們的需求。

因此，如何提供一種性能好的遺忘方法，是本領域技術人員亟待解決的問題。

發明內容

本申請實施例提供了一種基于生成對抗網絡的快速模型遺忘方法與系統，旨在解決現有技術不能滿足基于機器學習的數據遺忘問題。

第一方面，本申請提供了一種基于生成對抗網絡的快速模型遺忘方法，該方法包括：

取一個與待遺忘的數據分布相同的第三方數據，將其輸入到原始模型中，得到輸出結果，對輸出結果進行排序處理，得到第一排序結果；

將生成器初始化為原始模型，將待遺忘數據輸入到生成器中，將生成器輸出的結果進行排序處理，得到第二排序結果；

利用第一排序結果和第二排序結果交替訓練生成器與判別器，直到判別器無法區分待遺忘數據在生成器上輸出與第三方數據在原始模型上輸出的分布差異，則停止訓練；

對生成器進行成員推理攻擊，若攻擊結果為待遺忘數據且沒有被生成器訓練過，則遺忘成功，將被訓練后的生成器作為遺忘后的模型。

第二方面，本申請還提供了一種基于生成對抗網絡的快速模型遺忘系統，該系統包括：

第一排序結果獲取模塊，用于取一個與待遺忘的數據分布相同的第三方數據，將其輸入到原始模型中，得到輸出結果，對輸出結果進行排序處理，得到第一排序結果；

第二排序結果獲取模塊，用于將生成器初始化為原始模型，將待遺忘數據輸入到生成器中，將生成器輸出的結果進行排序處理，得到第二排序結果；

交替訓練模塊，用于利用第一排序結果和第二排序結果交替訓練生成器與判別器，直到判別器無法區分待遺忘數據在生成器上輸出與第三方數據在原始模型上輸出的分布差異，則停止訓練；

模型驗證模塊，用于對生成器進行成員推理攻擊，若攻擊結果為待遺忘數據沒有被生成器訓練過，則遺忘成功，將被訓練后的生成器作為遺忘后的模型。