[發明專利]一種具有憑證識別功能的歸一化方法

在審

• 申請號: 202110326758.4
• 申請日: 2021-03-26
• 公開（公告）號: CN112861079A
• 公開（公告）日: 2021-05-28
• 發明（設計）人: 張衛明;俞能海;張杰;陳冬冬;廖菁;華剛
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06F21/10
• 分類號: G06F21/10;G06F21/16;G06K9/62
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 張乾楨

本發明涉及一種具有憑證識別功能的歸一化方法，包括如下步驟：步驟1、建立模型性能與正確憑證之間的關系，利用仿射變換的分布調制，將仿射變換參數γ、β改變為憑證的函數；如果向目標模型輸入不正確的憑證，生成的仿射變換參數也會不正確，使模型工作異常；學習另一組仿射變換參數γ₀、β₀，用于模型的原始任務；步驟2、在模型訓練中引入憑證時，相應的統計量進行獨立計算，包括兩個分支，其中第二個分支作為憑證識別分支，對于全連接層后的歸一化，第二個分支將計算自己的歸一化統計量μ₁，σ₁，并分別學習基于憑證p_γ、p_β的仿射變換參數γ、β。該發明適用于所有現在流行的歸一化方法，不改變模型使用階段的網絡結構；提出的可學習放射變換操作可以使模型驗證階段的性能相比使用階段性能不會下降很多；該發明可以有效抵抗針對模型版權的混淆攻擊。

技術領域

本發明涉及深度學習模型產權保護技術領域，具體涉及一種具有憑證識別功能的歸一化方法。

背景技術

深度學習已經在各個領域取得了巨大的成功，諸如圖像識別、目標檢測、自然語言處理等。為了獲得高性能的深度模型，往往需要設計一個好的網絡架構，收集海量的高質量的訓練數據，消耗昂貴的計算資源。因此，這些模型具有巨大的商業價值，甚至可能是一些公司的核心技術。然而，最近的研究表明，深度模型知識產權容易受到侵害。例如，攻擊者可以利用遷移學習通過微調使目標模型適應新的任務，甚至可以通過模型壓縮技術獲得新的高效模型。所有這些攻擊方法會嚴重侵犯原模型所有者的利益。近幾年來，深度模型知識產權的保護受到了學術界和工業界的廣泛關注，涌現了許多不錯的工作和技術。這些工作的主要思想是對深度模型的權重或其輸出添加一些特殊的水印，同時盡量保持模型原有任務的性能。具體來說，在目標損失中加入了一個權重正則化函數，使得學習的權重可以遵循某種特殊的分布，以此作為水印信息；或者加入特殊的圖像觸發集，約束模型將這些觸發圖像分類成一些預先定義好的標簽。盡管這些深度模型版權保護的工作可以抵抗前面所提到的模型重訓練或者模型壓縮等侵權攻擊，但是他們無法抵抗混淆攻擊，即攻擊者可以在從水印模型中逆向優化出另一個不同的水印宣稱所有權，從而造成取證的困難。為解決混淆攻擊的問題，已經有相關的算法提出，該算法基于正確的憑證信息對模型性能進行調制，達到只有出示正確憑證才能確保模型性能不下降的目的，從而抵抗混淆攻擊。但是該算法有一個主要的局限性：它們需要通過替換原有的歸一化方法，這樣做即改變了模型結構，還會顯著影響原始模型的性能，這些對于終端用戶獲得的模型服務質量都是不友好甚至有害的。

發明內容

本發明針對同樣的混淆攻擊問題，采用了類似的算法動機，但是要保證不修改網絡結構改變，且模型性能下降更少。為此，本發明提出了新的具有憑證識別功能的歸一化方法。它適用于幾乎所有常用的模型歸一化方法，只需要添加額外的憑證識別分支用于模型版權保護。在訓練過程中，本發明預先設定一些秘密憑證，使額外的分支與目標模型聯合訓練。訓練后，這些秘密憑證和用于憑證識別的分支將由模型所有者保存，以便將來進行所有權驗證，只有原始的目標模型被分發給終端用戶來使用。因此，從終端用戶的角度來看，模型結構沒有發生變化。而且，用于憑證識別的分支的歸一化統計量(例如批歸一化的均值和方差)是獨立設計和獨立計算的，因此對目標模型的性能影響更小。

當本發明懷疑某個模型是從目標模型非法派生時，本發明可以對該模型添加私有的憑證識別分支以進行所有權驗證。更具體地說，添加完額外分支之后，目標模型的性能將只有在出示正確憑證的情況下才能保持幾乎不變，而偽造的憑證會導致模型性能嚴重下架。

本發明的技術方案為：一種具有憑證識別功能的歸一化方法，包括如下步驟：

步驟1、建立模型性能與正確憑證之間的關系，利用仿射變換的分布調制，將仿射變換參數γ、β改變為憑證的函數；如果向目標模型輸入不正確的憑證，生成的仿射變換參數也會不正確，使模型工作異常；學習另一組仿射變換參數γ₀、β₀，用于模型的原始任務；