[發明專利]一種基于去噪擴散模型的模型安全性評估方法

有效

• 申請號: 202310911643.0
• 申請日: 2023-07-25
• 公開（公告）號: CN116644439B
• 公開（公告）日: 2023-10-17
• 發明（設計）人: 魏志強;高國峰;王曉東;張程昊
• 申請（專利權）人: 中國海洋大學
• 主分類號: G06F21/57
• 分類號: G06F21/57;G06V10/764;G06V10/74;G06V10/30;G06V10/82;G06N3/0475;G06N3/094;G06N3/084
• 代理公司: 青島華慧澤專利代理事務所(普通合伙) 37247
• 代理人: 趙梅

本發明屬于信息安全技術領域，公開了一種基于去噪擴散模型的模型安全性評估方法，包括以下步驟：將目標模型的分類樣本送入初始生成器生成初始數據；使用去噪擴散模型擴充初始數據，生成額外數據；通過殘差結構融合初始數據和額外數據，得到多源查詢樣本；通過多源查詢樣本和目標模型預測結果訓練替代模型和生成器模型；計算替代模型和目標模型的功能相似度，評估目標模型的安全性。針對未知架構的人工智能模型，本發明在不訪問目標模型訓練數據集的基礎上，通過去噪擴散模型和殘差結構生成高質量的多源查詢樣本，從而使替代模型對目標模型進行高效地擬合，提升目標模型安全性評估效率。

技術領域

本發明屬于信息安全技術領域，特別涉及一種基于去噪擴散模型的模型安全性評估方法。

背景技術

深度學習在給人們生活帶來極大的便利，同時使用深度學習模型也存在安全隱患，模型在生命周期的各個階段都可能面臨著不同程度的安全風險，導致模型無法提供正常的服務或者是泄露模型的隱私信息，例如，攻擊者通過目標模型輸出中隱含的一定的關于模型的信息，實施模型竊取攻擊，包括竊取模型的功能、模型的結構、模型的參數，甚至最敏感的訓練數據。另外攻擊者可以利用竊取的模型進行對抗樣本攻擊、成員推理攻擊和逆向推理攻擊，從而破壞模型的機密性、可用性和完整性。

大多數模型安全性評估方法中，在進行攻擊測試場景中，針對目標模型的攻擊測試通常生成器模型和替代模型類似于生成對抗網絡(GAN)的結構，例如CN202110400917一種基于生成對抗網絡的模型安全性檢測方法，現有的基于GAN的攻擊網絡在不訪問目標模型訓練數據集的前提下生成大量高質量的查詢樣本方面有所欠缺，以至影響安全性攻擊測試中替代模型功能擬合的成功率和性能上限，從而無法進行高效的目標模型安全性評估。

在無法訪問目標模型訓練數據集的條件下通過模型功能擬合評估在線部署模型的安全性場景中，目前在基于類似GAN結構的攻擊測試方法中，沒有高效提高生成查詢樣本質量的方法，使安全性攻擊測試滿足在較少調用目標模型API的同時訓練替代模型具有較高擬合精確度的需求。因此，如何使模型安全評估中攻擊測試生成器生成高質量查詢樣本是亟需解決的重要問題。

發明內容

針對現有技術存在的不足，本發明提供一種基于去噪擴散模型的模型安全性評估方法，全面考慮了在模型安全性攻擊測試中無法訪問目標模型原有訓練數據集場景下，通過模型功能擬合進行在線部署的黑盒模型（即目標模型）安全性評估，本發明針對未知架構的人工智能模型，在不訪問目標模型訓練數據集的基礎上，通過去噪擴散模型和殘差結構生成高質量的多源查詢樣本，從而使替代模型對目標模型進行高效地擬合，提升目標模型安全性評估效率。

為了解決上述技術問題，本發明采用的技術方案是：

一種基于去噪擴散模型的模型安全性評估方法，針對未知架構的人工智能模型，在不訪問目標模型訓練數據集的基礎上，構建生成對抗網絡并訓練，所述生成對抗網絡包括生成器模型和替代模型，生成器模型的訓練目標為最大化目標模型和替代模型的輸出差異，替代模型的訓練目標為擬合目標模型的預測結果，即最小化目標模型和替代模型的輸出差異，所述目標模型為執行圖片分類任務的在線部署的黑盒模型；所述生成器模型包括初始生成器、去噪擴散模型和殘差結構，包括以下步驟：

步驟1、將目標模型的分類樣本送入初始生成器生成初始數據；

步驟2、使用去噪擴散模型擴充初始數據，生成額外數據；

步驟3、通過殘差結構融合步驟1得到的初始數據和步驟2得到的額外數據，得到多源查詢樣本；

步驟4、通過多源查詢樣本和目標模型預測結果訓練替代模型和生成器模型，

步驟5、計算替代模型和目標模型的功能相似度，評估目標模型的安全性。

進一步的，步驟1具體包括以下步驟：

步驟1.1、將目標模型分類樣本通過特征提取后送入分類器C，得到生成對抗網絡的生成器的輸入z；

步驟1.2、初始生成器通過簡單神經網絡生成與目標模型的輸入維度匹配的輸入查詢作為去噪擴散模型的初始數據x。