[發明專利]基于魯棒水印的深度學習模型保護方法

有效

• 申請號: 202210215226.8
• 申請日: 2022-03-07
• 公開（公告）號: CN114329365B
• 公開（公告）日: 2022-06-10
• 發明（設計）人: 練智超;李騰飛;李千目
• 申請（專利權）人: 南京理工大學
• 主分類號: G06F21/16
• 分類號: G06F21/16;G06N3/04;G06N3/08
• 代理公司: 南京申云知識產權代理事務所(普通合伙) 32274
• 代理人: 邱興天

本發明公開了一種基于魯棒水印的深度學習模型保護方法，屬于人工智能安全領域。采用不同的剪枝方法分別選擇重要濾子，然后對不同剪枝方法取得的濾子進行求交集選擇具有普遍性和重要性的濾子；然后對選擇的濾子進行處理后作為水印嵌入模型中；對嵌入水印之后的模型進行微調使得模型的性能恢復從而獲得最后的水印模型。本發明利用剪枝會剔除不重要的參數完成模型權重減小的特性選擇重要的參數作為水印嵌入的載體，輔以對要嵌入的水印增加噪聲，減少水印在面對攻擊時的水印損失率，實現水印對于攻擊方法有很強的魯棒性。

技術領域

本發明屬于人工智能安全領域，具體涉及一種基于魯棒水印的深度學習模型保護方法。

背景技術

模型保護的一種解決方案是在DNN模型中添加水印，這是一種用于識別DNN 模型所有權的常用方法。從根本上說，水印就是在模型中添加一些人工信息來標記它，從而使模型可以被跟蹤和認證。水印通常包括嵌入水印和提取水印兩個步驟。嵌入水印是指在模型的開發或訓練階段將數字水印添加到模型中，而提取水印是指從模型中提取和恢復水印，然后對植入的水印進行處理。

目前神經網絡水印主要包括兩種方法：黑盒水印和白盒水印,在白盒水印方法中，需要知道模型的具體細節才能完成水印嵌入，同樣在提取水印時也需要模型的具體細節。另一方面，大多數黑盒水印嵌入方案是通過在 DNN 模型中嵌入后門來實現的。通常的做法是構造一個特定的觸發集。觸發集通常由一組圖片和對應的特定標簽（通常是錯誤的標簽）組成。只有模型所有者知道觸發器集的細節。在訓練包含觸發集的模型后，模型可以將觸發集預測為特定標簽。由于正常模型對觸發集進行大量正常預測，因此以這種方式區分模型。特定輸入與其標簽之間的映射被視為后門并用作水印。如果檢測到后門，則可以說所有者擁有該模型的所有權。文獻Structural Watermarking to Deep Neural Networks利用剪枝算法選取冗余參數進行水印嵌入，但是冗余參數在面對攻擊時更容易導致水印丟失，為了解決這個問題，本發明引入多種剪枝算法選取重要參數進行水印嵌入，使得水印在面對攻擊時具有更強的魯棒性。

發明內容

本發明解決的技術問題：提供一種利用剪枝算法會保留重要參數的特性針對模型水印構造更加魯棒的模型水印。

技術方案：為了解決上述技術問題，本發明采用的技術方案如下：

一種基于魯棒水印的深度學習模型保護方法，其特征在于，采用不同的剪枝方法分別選擇重要濾子，然后對不同剪枝方法取得的濾子進行求交集選擇具有普遍性和重要性的濾子；然后對選擇的濾子進行處理后作為水印嵌入模型中。主要包括以下步驟：

步驟1：選擇要向模型中嵌入的水??；

步驟2：通過偽隨機數生成器生成噪聲序列；

步驟3：使用生成的噪聲序列對水印進行加噪；

步驟4：使用基于熵的剪枝方法選擇重要濾子；

步驟5：使用基于L1范式的剪枝方法選擇重要濾子；

步驟6：使用基于BN的縮放因子選擇重要濾子；

步驟7：對步驟4-6中采用不同剪枝方法求得的重要濾子求交集選擇更加具有普遍性和重要性的濾子；

步驟8：對于已經選擇的重要濾子的每一層選擇絕對值最大的參數，并且作為載體嵌入1bit的水??；

步驟9：對嵌入水印之后的模型進行微調，直到模型的性能恢復到未嵌入水印的水平，得到水印模型。