[發明專利]生成圖像溯源方法與裝置、模型訓練方法與裝置、電子設備及存儲介質

有效

• 申請號: 202110872711.8
• 申請日: 2021-07-30
• 公開（公告）號: CN113627503B
• 公開（公告）日: 2023-10-24
• 發明（設計）人: 曹娟;楊天韻;謝添;李錦濤
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/774;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 北京律誠同業知識產權代理有限公司 11006
• 代理人: 祁建國

本發明公開了一種生成圖像溯源模型訓練方法，包括以下步驟：將生成圖像輸入至生成器以獲取對應該生成圖像的一指紋；將該指紋添加至隨機選取的一真實圖像上，得到一帶指紋圖像；將該帶指紋圖像分別輸入至鑒別器和輔助分類器進行訓練。

技術領域

本發明涉及數字圖像取證領域，特別涉及一種生成圖像溯源方法與裝置、模型訓練方法與裝置、電子設備及存儲介質。

背景技術

生成對抗網絡(Generative Adversarial Network,GAN)的發展使得生成圖像越來越逼真，這給視覺取證帶來了巨大的挑戰。

近年來，研究人員在生成圖像檢測上進行了大量的研究。然而，真假檢測并不是終點，對于惡意和違法的內容，執法人員需要識別其所有者；對于生成模型的開發人員來說，設計生成模型需要經驗豐富的研究人員進行大量的試錯實驗，有些生成模型具有很高的商業價值，應該予以保護。為了達到這些目的，需要對GAN生成圖像進行溯源。

在之前的工作中，一些研究人員采用平均噪聲圖像作為GAN指紋，其結果顯示每種GAN模型在其生成圖像上都會留下特定的指紋。一些研究人員將GAN指紋解耦為模型指紋和圖像指紋，具體地，將模型的輸出特征作為圖像指紋，最后一層的參數作為模型指紋，然后通過圖像與模型指紋的點積運算來實現GAN生成圖像的溯源。一些研究人員采用基于頻率域的方法，將離散余弦變換(Discrete Cosine Transform,DCT)轉換后的圖像作為分類器的輸入，用于GAN生成圖像來源的檢測。

現有的技術方案存在以下缺陷:第一，如何可視化GAN指紋仍然是一個懸而未決的問題。盡管有研究人員提出用平均噪聲和自編碼器的重建殘差作為指紋，但是其提取的指紋包含很多冗余的噪聲，從中難以觀察不同的GAN生成圖像的區別和相同的GAN生成圖像的共性。第二，現有工作大多采用直接多分類的框架進行溯源，在沒有額外約束的情況下，直接分類抽取的特征中可能包括許多與內容相關的信息，然而，合格的GAN指紋與生成內容無關。盡管基于直接多分類的方法學習到的表示足以檢測與訓練數據同分布的圖像，但它在其他數據訓練出的GAN模型上泛化差。

發明人在對生成圖像溯源的研究中，發現現有技術中GAN指紋的可視化方法會包含很多冗余的噪聲，而且在同結構但不同數據訓練的GAN模型上泛化性較差。發明人經過研究發現，內容無關的特征有助于可視化GAN指紋和提高溯源的泛化性。因此，本發明提出了一個多任務的指紋提取框架，從GAN生成的圖像中解耦出GAN指紋，并同時抽取出GAN模型的內容無關表示用于溯源。

發明內容

為了解決上述問題，本發明的主要目的在于提出一種生成圖像溯源方法與裝置、模型訓練方法與裝置、電子設備及存儲介質，能夠從GAN生成圖像中解耦出GAN指紋，并同時抽取出GAN模型的內容無關表示用于溯源，從而有助于可視化GAN指紋和有效提高溯源的泛化性。

為了實現上述目的，本發明提出一種生成圖像溯源模型訓練方法，包括以下步驟：

將生成圖像輸入至生成器以獲取對應該生成圖像的一指紋；

將該指紋添加至隨機選取的一真實圖像上，得到一帶指紋圖像；

將該帶指紋圖像分別輸入至鑒別器和輔助分類器進行訓練。

為了實現上述目的，本發明還提出一種生成圖像溯源模型訓練裝置，包括：

指紋生成單元，用于將生成圖像輸入至生成器以獲取對應該生成圖像的一指紋；

帶指紋圖像獲取單元，用于將該指紋添加至隨機選取的一真實圖像上，得到一帶指紋圖像；

第一訓練單元，將該帶指紋圖像分別輸入至鑒別器和輔助分類器進行訓練。

為了實現上述目的，本發明還提出一種生成圖像溯源方法，包括以下步驟：