[發明專利]一種神經網絡水印嵌入方法、裝置、電子設備及存儲介質

在審

• 申請號: 202210016799.8
• 申請日: 2022-01-07
• 公開（公告）號: CN114359011A
• 公開（公告）日: 2022-04-15
• 發明（設計）人: 申淑媛;林煥桀;牛宇航;呂浩杰
• 申請（專利權）人: 華南師范大學
• 主分類號: G06T1/00
• 分類號: G06T1/00;G06N3/08;G06F21/16
• 代理公司: 廣州駿思知識產權代理有限公司 44425
• 代理人: 張金龍

本發明涉及一種神經網絡水印嵌入方法、裝置、電子設備及存儲介質。本發明所述的一種神經網絡水印嵌入方法包括：獲取密鑰K，所述密鑰K對應唯一的時間戳T；在原始訓練集中隨機選擇n張圖片，其中n大于1，其中，所述原始訓練集中包括了多張圖片以及每張圖片對應的標簽；通過密鑰K產生的混沌序列對圖片進行置亂加密，得到n張觸發集的圖片，將該n張圖片以及其對應的標簽放入觸發集；將所述原始訓練集和所述觸發集一同放入待嵌入水印的神經網絡進行訓練，得到嵌入水印的神經網絡。本發明所述的一種神經網絡水印嵌入方法，在保持圖像特征不變的前提下產生觸發集，并賦予其原始標簽，使得在不影響原始分類任務的決策邊界的前提下，保護模型所有權。

技術領域

本發明涉及信息隱藏領域，特別是涉及一種神經網絡水印嵌入方法、裝置、電子設備及存儲介質。

背景技術

隨著深度學習模型的應用越來越廣泛，許多大公司開始利用他們擁有的大量專有數據和計算資源來訓練深度學習模型，然后將其進行部署和商業化，分發給其他用戶，作為盈利的一種方式。然而，這可能導致版權糾紛問題，因此需要一個安全、可靠的版權保護方法來保護所有者的利益。

近年來，研究人員借鑒原始數字水印方法的思想，提出了適用于深度學習模型版權保護的水印方法。基于深度學習版權保護的水印方法大致可分為兩種類型：一種稱為白盒水印，通過修改模型中的權重來實現水印的嵌入，此方法和原始數字水印原理類似；另一種方法稱為黑盒水印，此方法不需要訪問網絡的內部參數，它通過使用特定的觸發集作為神經網絡的輸入，輸出指定的標簽來實現嵌入水印信息，最后通過比較指定標簽和輸出標簽的正確性來驗證網絡的所有權。

對于白盒水印，Uchida等人借鑒數字水印的思想做出了第一次嘗試，通過修改網絡中的一些權重參數來實現水印的嵌入，且其嵌入水印信息后不影響網絡的原始性能。Wang和Kerschbaum等人發現Uchida的方案修改了模型的統計分布，這將導致攻擊者不僅能夠檢測水印，甚至能夠提取出其嵌入長度，并通過覆蓋攻擊將水印刪除。為了提高嵌入水印的穩定性和安全性，Wang和Wu等人以Uchida的方法為基礎，篩選出了一些對嵌入模型性能影響相對較小的權重，使用單獨的神經網絡生成用于嵌入水印信息的矩陣。Wang和Kerschbaum等人提出了一種基于生成對抗網絡的白盒水印方法，使得無法區分嵌入水印的神經網絡與無水印的神經網絡的參數分布，因此難以檢測。由于白盒水印的限制，水印嵌入需要訪問和提取模型的內部參數和結構，一些學者提出了一種方法，以黑盒的方式在神經網絡模型中添加水印，借鑒后門攻擊的思路，以便水印驗證時可以不提取模型參數等細節。

對于黑盒水印，Adi等人首次提出將抽象圖像作為后門水印嵌入神經網絡，從而在不需要訪問和模型內部參數和結構的前提下保證模型的所有權；在Adi等人的基礎上，Zhang等人提出了一種基于文本、噪聲和不相關圖片三種不同方式來作為觸發集的黑盒方法；為了抵御參數微調和對抗性微調覆蓋等水印攻擊，Merrer等人提出一種基于決策邊界的觸發集構造方法，該方法不僅保護了模型而且還提高模型的性能，但是該方法存在容易造成假陽性的問題；由于先前的方法構造的觸發集與原始訓練集關聯不大，很容易通過重新訓練和微調來抹除水印，Li等人提出一種自定義的濾波器，在原始訓練集上作修改，嵌入過程只能在模型的初始訓練中進行，這也使得此方法能夠抵御通過微調或增量訓練刪除水印的攻擊方法，但此方法存在嵌入水印需要模型從頭開始訓練且水印的大小受限等問題；上述黑盒方法中，都是通過設置帶有指定標簽的觸發集來嵌入水印，然而這些行為會影響原始模型在原始任務上的決策邊界，Zhong等人提出了一種新的黑盒水印框架，通過在模型的分類任務中添加新標簽實現在模型中嵌入水印，然而這種方法存在容易被檢測出水印的隱患，所以需要一種不可見的嵌入/驗證水印的協議來抵御欺詐攻擊。

發明內容

基于此，本發明的目的在于，提供一種神經網絡水印嵌入方法、裝置、電子設備及存儲介質，在保持圖像特征不變的前提下產生觸發集，并賦予其原始標簽，使得在不影響原始分類任務的決策邊界的前提下，保護模型所有權，做到保持與原始模型的性能精度幾乎相同的同時，維護所有者的知識產權。