[發明專利]一種基于去噪擴散模型的模型安全性評估方法

有效

• 申請號: 202310911643.0
• 申請日: 2023-07-25
• 公開（公告）號: CN116644439B
• 公開（公告）日: 2023-10-17
• 發明（設計）人: 魏志強;高國峰;王曉東;張程昊
• 申請（專利權）人: 中國海洋大學
• 主分類號: G06F21/57
• 分類號: G06F21/57;G06V10/764;G06V10/74;G06V10/30;G06V10/82;G06N3/0475;G06N3/094;G06N3/084
• 代理公司: 青島華慧澤專利代理事務所(普通合伙) 37247
• 代理人: 趙梅

1.一種基于去噪擴散模型的模型安全性評估方法，其特征在于，針對未知架構的人工智能模型，在不訪問目標模型訓練數據集的基礎上，構建生成對抗網絡并訓練，所述生成對抗網絡包括生成器模型和替代模型，生成器模型的訓練目標為最大化目標模型和替代模型的輸出差異，替代模型的訓練目標為擬合目標模型的預測結果，即最小化目標模型和替代模型的輸出差異，所述目標模型為執行圖片分類任務的在線部署的黑盒模型；所述生成器模型包括初始生成器、去噪擴散模型和殘差結構，包括以下步驟：

步驟1、將目標模型的分類樣本送入初始生成器生成初始數據；

步驟2、使用去噪擴散模型擴充初始數據，生成額外數據；

步驟3、通過殘差結構融合步驟1得到的初始數據和步驟2得到的額外數據，得到多源查詢樣本；

步驟4、通過多源查詢樣本和目標模型預測結果訓練替代模型和生成器模型，

步驟5、計算替代模型和目標模型的功能相似度，評估目標模型的安全性。

2.根據權利要求1所述的一種基于去噪擴散模型的模型安全性評估方法，其特征在于，步驟1具體包括以下步驟：

步驟1.1、將目標模型分類樣本通過特征提取后送入分類器C，得到生成對抗網絡的生成器的輸入z；

步驟1.2、初始生成器通過簡單神經網絡生成與目標模型的輸入維度匹配的輸入查詢作為去噪擴散模型的初始數據x。

3.根據權利要求1所述的一種基于去噪擴散模型的模型安全性評估方法，其特征在于，去噪擴散模型包括正向擴散過程和反向擴散過程，步驟2中，具體如下：將初始生成器生成的初始數據x輸入到去噪擴散模型的前向擴散，前向擴散在x上逐步增加噪聲來平滑地擾動數據，每一步得到的圖像x_t只與上一步的結果x_t-1相關，以x為基礎，因子化不同時刻的圖像，表示為：

；

其中：表示已知條件下的后驗概率分布，x_t表示前向擴散中通過增加噪聲得到第t時刻的圖像樣本，分別表示前向擴散中通過增加噪聲得到第1，2，...，T時刻的圖像樣本；

任意時刻的x_t可以由x表示：

；

其中：，；表示已知x條件下的后驗概率分布；為高斯噪聲參數；表示高斯分布，I表示單位矩陣，用于構造高斯分布中的協方差；

前向擴散通過每一步增加噪聲擾動數據執行擴散過程直至第T步的圖像變為純高斯分布；利用前向擴散得到的結果反向擴散通過對純高斯分布進行去噪過程生成新數據，每一步中加入的噪聲數據通過u-net進行預測，同時每一步的x_t-1只與前一步的結果x_t相關，反向擴散的目標過程表示為：

；

其中表示在第t步生成的x_t的均值，表示在第t步生成的x_t的方差，表示數據的真實分布，利用貝葉斯公式得到，表示為：

；

其中是的后驗均值，是的后驗方差；表示已知x_t和x條件下的后驗概率分布；在標準高斯分布中，此處已知方差是一個固定值，是在前向擴散中通過計算得到的；通過u-net預測含參高斯噪聲來估計預測結果的歐氏范數，用于估計高斯分布中的，表示為：

；

其中：為高斯噪聲參數，為高斯噪聲參數的累乘；

通過訓練預測的近似值，前向擴散提供標簽，后向擴散使用標簽進行擬合，通過確定方差和均值可以得到；根據逆馬爾可夫鏈進行反向擴散過程，由此將初始數據x通過去噪擴散模型生成額外數據。

4.根據權利要求1所述的一種基于去噪擴散模型的模型安全性評估方法，其特征在于，步驟3中，將初始數據x和去噪擴散模型生成的額外數據x_o送入殘差網絡結構進行多源數據融合，具體來說，使用去噪擴散模型生成的額外數據x_o與初始數據x進行相融處理得到的結果疊加到初始數據x中，并使融合后的多源查詢樣本匹配目標模型的輸入維度表示為：

；

其中和分別表示原始生成器模型的參數和去噪擴散模型的參數；R為去噪算子；表示初始生成器通過z生成初始數據x的函數；表示去噪擴散模型通過初始數據x生成額外數據的函數。