[發明專利]基于對抗樣本生成的深度自適應圖像隱藏方法

有效

• 申請號: 201910976907.4
• 申請日: 2019-10-15
• 公開（公告）號: CN110889797B
• 公開（公告）日: 2021-06-08
• 發明（設計）人: 宋明黎;潘文雯;靜永程
• 申請（專利權）人: 浙江大學
• 主分類號: G06T1/00
• 分類號: G06T1/00;G06N3/04
• 代理公司: 杭州天正專利事務所有限公司 33201
• 代理人: 王兵;黃美娟

1.基于對抗樣本生成的深度自適應圖像隱藏方法，包含的主要步驟：

1)設計實驗樣本；

使用VOC2007，ImageNet和OpenImage三個數據集中的數據組成實驗樣本數據集；定義需要隱藏的圖為secret圖，將接受隱藏信息的圖為cover圖，通過encode網絡加入隱藏信息的結果圖為container圖，由container圖解析出來的圖為revealed圖；使用ImageNet為secret圖集，三個數據集中的不交叉部分為cover圖集；對于secret圖和cover圖組合，進行SSD的類別測試，獲得cover圖中與secret圖類語義相似的區域作為之后局部隱藏的patch；最后，將secret圖、cover圖和其選定的patch組合獲得實驗的樣本集；

2)建立局部隱藏patch選擇的SSD網絡；

首先，尋找cover圖中適合隱藏secret圖的patch，以實現圖像隱藏的局部隱藏特性；由于語義相似的兩個部分能夠達到更好的隱藏效果，故建立SSD網絡進行cover圖中將被隱藏的patch的選擇；組成19層卷積層的SSD網絡，檢測secret圖的類別；然后在SSD網絡中輸入cover圖，尋找cover圖中所有類別A的bounding box，采用0.5置信度的bounding box作為最后結果，使得在保存一定的語義條件下不容易被攻擊方識別，從而完成局部隱藏的隱藏區域選擇；

3)建立encode網絡；

利用對抗樣本的思路來實現圖像隱藏方法，賦予當前認為只存在不利方面的對抗樣本以有利的意義；encode網絡首先輸入secret圖，按照生成對抗樣本的方法生成擾動，對抗樣本產生的方法如公式(1)所示；

min_ρ||ρ||₂ s.t.C(I_c+ρ)＝l；I_c+ρ∈[0，1]^m (1)

其中，ρ是需要加入的擾動，I_c指的是原有的圖像，C指的是網絡分類器，l則是需要網絡誤分類的分類結果；由于所需要的擾動人眼不可見，所以設定條件||ρ||₂；

在cover圖中選出的patch位置上直接加上encode網絡產生的擾動，得到包含隱藏信息的container圖；組成12層卷積層的encode網絡，得到與cover圖相似的container圖，要求訓練得到的container圖不僅僅在定量測試的數值上，也要再定性觀察的肉眼效果上達到安全隱藏的標準，即cover圖與container圖相似，且在添加過擾動后沒有能用肉眼辨識出來的處理痕跡；

4)建立decode網絡；

總體結構與encode網絡相似，組成12層卷積層的decode網絡；在decode網絡中，輸入已經局部隱藏secret圖信息的container圖和局部隱藏的坐標信息，在經過和encode網絡完全相反的操作后，輸出revealed圖，目標是revealed圖與secret圖相似，以完成重建操作；與encode網絡的要求一樣，在定量的數值測試和定性的肉眼效果上都要達到標準；

5)訓練和測試encode和decode網絡；

為完成更高的準確率，對每一組輸入的圖片都進行個性化的參數配置，對于encode網絡和decode網絡的聯合訓練采用兩個階段；

①初始訓練：

構建上述結構的encode網絡和decode網絡后，同時訓練兩個網絡，調整其參數；設置訓練集數據量為2000張cover圖和2000張secret圖，batch size為1，學習率為10^-4；定義初始階段訓練的loss值為L_steg，如公式(2)所示有兩個部分，一是secret圖和revealed圖的差值，保證decode還原出來的revealed圖符合要求；二是擾動值盡量小，參考對抗樣本的生成手法，以保證得到的container圖與原來的cover圖相似；

L_steg＝||ρ||₁+α||g(I_c+ρ)-I_s||₁ (2)

其中，α用來調節兩種參數的比重，g為接收container圖的decode網絡，ρ為用對抗樣本生成的擾動，I_c+ρ代表的就是container圖，loss值使用L₁范數形式；

②二次訓練和測試：

在使用2000對的cover圖和secret圖訓練好初步的網絡后，輸入測試的圖片對；在這個階段，考慮到container圖的接收方不能得到secret圖的具體數值，固定decode網絡的所有參數，對encode網絡進行迭代更新；設置迭代更新的次數設置為100000，loss由兩部分組成，與第一階段的loss相同，分為secret圖與revealed圖的差值和擾動值；對于每一組圖都進行個性化迭代，取得每一組的高質量隱藏和重建結果；

局部隱藏和整體隱藏在肉眼上的一個主要區別在于整體隱藏可以容許稍高一些container圖和cover圖的差值，只要在總體上肉眼辨識不出就符合標準，可以出現色差；而局部隱藏不允許出現色差，否則選定的patch部分在肉眼上與其周圍部分將會出現很大的差距，存在明顯的邊緣線，故局部隱藏需要cover圖和container圖差值極小，即擾動值足夠小。