[發明專利]一種基于生成對抗網絡的魯棒圖像水印方法

在審

• 申請號: 202210598258.0
• 申請日: 2022-05-30
• 公開（公告）號: CN115131188A
• 公開（公告）日: 2022-09-30
• 發明（設計）人: 高光勇;付佳欣
• 申請（專利權）人: 南京信息工程大學;鄭州信大先進技術研究院
• 主分類號: G06T1/00
• 分類號: G06T1/00;G06T9/00;G06N3/04;G06N3/08
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 周科技

1.一種基于生成對抗網絡的魯棒圖像水印方法，其特征在于：該方法包括：

(1)構建編碼器-解碼器框架，編碼器將二進制的秘密信息嵌入到一張三通道的載體圖像中，解碼器從載密圖像中提取出秘密信息；

(2)構建對抗網絡框架，編碼器網絡和解碼器網絡組成一個端到端的模型作為生成器網絡，通過生成器網絡生成載密圖像和提取出秘密信息，通過判別器網絡進行隱寫分析，對生成的編碼圖像的真假性進行判斷；

(3)通過生成器網絡和判別器網絡之間相互對抗學習，使生成的載密圖像和原始圖像誤差在一定范圍內，同時使解碼的秘密信息和原始的秘密信息誤差在一定范圍內；

(4)使用獲取的自然圖像數據集訓練網絡模型，通過結構相似性指標和峰值信噪比來驗證模型的不可見性，通過提取秘密信息的準確度來驗證模型的魯棒性，得到最優的模型參數；通過訓練好的網絡模型得到魯棒編碼圖像和提取秘密信息。

2.根據權利要求1所述的基于生成對抗網絡的魯棒圖像水印方法，其特征在于：生成器和判別器對抗訓練包括：

(a)生成器網絡包括兩個部分：編碼器和解碼器，其中編碼器網絡生成的編碼圖像要與原始圖像誤差在一定范圍內；

(b)判別器網絡用于隱寫分析，即鑒別圖像是編碼圖像還是原始圖像，判斷圖像是否含有秘密信息；

(c)模擬噪聲網絡：將編碼圖像輸入解碼網絡前設有一個模擬的攻擊層，對編碼圖像進行模擬攻擊，之后再輸入解碼器中進行解碼；

(d)生成器網絡在得到判別器網絡的結果之后進行反向傳播，利用梯度更新來更新編碼器和判別器的參數，控制生成器生成圖片質量。

3.根據權利要求1或2所述的基于生成對抗網絡的魯棒圖像水印方法，其特征在于：通過使用自然圖像數據集進行訓練得到最優的模型參數，訓練流程包括：

第一步，首先將具有L長度的秘密信息擴展成三維的向量，再改變二進制比特的秘密信息的形狀，使其與圖像大小相同；

第二步，將秘密信息和圖像相互拼接，輸入編碼器，編碼器通過特征提取和特征融合后輸出一個三通道的彩色圖像，該彩色圖像即為載密圖像；

第三步，在解碼前設有一個模擬的攻擊層網絡來模擬實際攻擊，經過模擬的攻擊層得到一個被攻擊的載密圖像；

第四步，將被攻擊的載密圖像輸入解碼器中進行解碼得到二進制的秘密信息。

4.根據權利要求1所述的基于生成對抗網絡的魯棒圖像水印方法，其特征在于：編碼器網絡結構由卷積層加一個殘差塊組成；

首先將一串二進制秘密信息擴展成輸入圖像的尺寸，將擴展后的秘密信息與三通道的原始圖像拼接在一起輸入編碼器，經過四次卷積操作用于特征的提取；然后經過一個殘差塊，即一個3×3的卷積層，提取特征信息；

每個卷積層得到的特征圖都全連接到對應的上采樣層，即不直接在高級特征圖中進行監督和損失計算，結合低級特征圖中的特征，使最終所得特征圖中既包含高等級的特征，也包含低等級的特征，完成不同規模下的特征的融合；

最后，使用1×1的卷積層將多通道的特征圖轉化成三通道的彩色圖像。

5.根據權利要求1或4所述的基于生成對抗網絡的魯棒圖像水印方法，其特征在于：解碼器在接收到編碼圖像I_stego，從載密圖像中提取出所嵌入的秘密信息；具體包括：

解碼器首先由3個3*3卷積層組成，進行特征的提??；接著設有一個殘差塊用于特征提取和減少梯度消失；再者設四個3×3卷積層以產生L通道的秘密信息張量；然后利用平均池化層和單一線性層將映射轉換為L長度矢量。

6.根據權利要求3所述的基于生成對抗網絡的魯棒圖像水印方法，其特征在于：網絡模型使用不同的損失函數交替迭代更新編碼器、解碼器和判別器；消息損失函數用于保證模型的魯棒性，圖像損失函數和判別器損失函數用于保證模型的不可感知性；網絡的損失函數構建如下：

使用圖像損失函數L_eA保持原始圖像I_cover和編碼圖像I_stego相似誤差在一定范圍內；L_eA的公式如下：

式中||·||₂是Frobenius范數，W、H和C分別表示輸入圖像的寬度、高度和通道數；

使用學習感知圖像塊相似性(LPIPS)損失L_lpips最小化原始圖像I_cover和編碼圖像I_stego之間的距離；L_lpips計算如下：

其中l是用于提取特征堆棧的網絡層，歸一化的C_l維特征向量用和表示，其中包含圖像I_cover在空間坐標h、w處的l層特征絕對值，I_cover和I_stego表示原始圖像和編碼圖像；對于第l層，其中H_l,W_l和C_l是第l層中通道的高度、寬度和數量；w_l表示每個圖像特征的自適應權重，表示異或運算；

解碼器用于從編碼圖像中恢復秘密信息，解碼后的消息與輸入的秘密消息相同；消息損失函數L_dB計算如下：

其中M_in是二進制秘密消息，L表示秘密信息的長度，M_out是提取的秘密信息，M_in和M_out∈{0,1}^L；

判別器A用于判斷接收到的圖像是編碼圖像I_stego還是原始圖像I_cover；使用判別器損失函數L_gA提高I_stego的視覺質量，L_gA計算如下：

L_gA＝log(1-A(I_stego))+log(A(I_cover)) (4)

其中log(*)表示對數函數；

在生成器的訓練方面，模型為四個損失函數L_eA,L_lpips,L_dB和L_gA設置不同的權重以控制水印的魯棒性和不可見性之間的平衡；

總損失函數L定義如下：

L＝λ_eAL_eA+λ_lpipsL_lpips+λ_dBL_dB+λ_gAL_gA (5)

其中λ_eA,λ_lpips,λ_dB和λ_gA分別為損失函數L_eA,L_lpips,L_dB和L_gA的權重。