[發明專利]一種基于多尺度生成對抗網絡的偽裝圖像生成方法

有效

• 申請號: 202011178436.1
• 申請日: 2020-10-29
• 公開（公告）號: CN112288622B
• 公開（公告）日: 2022-11-08
• 發明（設計）人: 尹閣麟;張青;鄭偉詩;駱偉祺
• 申請（專利權）人: 中山大學
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T11/00;G06V10/774;G06V10/764
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 李斌

1.一種基于多尺度生成對抗網絡的偽裝圖像生成方法，其特征在于，包括以下步驟：

構建多尺度生成對抗網絡模型，并嵌入風格轉換網絡，所述多尺度生成對抗網絡模型包括多個尺度，每個尺度包括生成器、風格轉換網絡以及判別器，所述生成器、風格轉換網絡、判別器依次連接，所述風格轉換網絡用于對風格特征進行定向訓練，包括預訓練的分類網絡VGG-19、GRAM矩陣以及步長卷積；所述多個尺度由下向上層層堆疊，尺度大小及其輸入圖像大小由下向上逐漸增大且最小尺度的輸入為隨機噪聲，每一層相應的操作完成后才能進行上一層尺度的操作；利用多尺度生成對抗網絡模型進行訓練和應用，具體為：

多尺度生成對抗網絡模型的訓練階段，包括下述步驟：

將隨機噪聲圖作為最小尺度生成器的輸入；

判別訓練，生成器生成虛假圖像，并與縮放到同等大小的背景圖一起輸入到風格轉換網絡和判別器，進行判別訓練；

將當前尺度生成器的生成圖像輸入到上一層尺度；

重復執行判別訓練、輸入到上一層尺度步驟的操作，直至最頂端尺度執行完判別訓練、輸入到上一層尺度步驟，完成多尺度生成對抗網絡模型對背景圖的擬合與訓練；

多尺度生成對抗網絡模型的應用階段：

選擇除了最小尺度以外的任一尺度作為初始尺度；

傳入多尺度生成對抗網絡模型初始圖像，將粘貼了待隱藏目標的背景圖放縮到初始尺度大小，并進行混合疊加的預處理，作為當前尺度輸入；

當前尺度圖像生成，生成器的生成圖像與縮放到同等大小的粘貼了待隱藏目標的背景圖進行混合操作；

輸入到上一層尺度，將當前尺度生成器的生成圖像的放大結果輸入到上一層尺度；

重復當前尺度圖像生成、輸入到上一層尺度步驟的操作，直至最頂端尺度執行完相應操作，輸出最終的偽裝圖像。

2.根據權利要求1所述的一種基于多尺度生成對抗網絡的偽裝圖像生成方法，其特征在于，所述GRAM矩陣用于使得網絡特征對風格具有更準確的描述性；

所述步長卷積用于將GRAM矩陣結果放縮到同一個尺寸以及篩選網絡特征。

3.根據權利要求1所述的一種基于多尺度生成對抗網絡的偽裝圖像生成方法，其特征在于，所述傳入多尺度生成對抗網絡模型初始圖像，預處理具體為：

x′＝sx_front+(1-s)x

其中，x_front為粘貼了待隱藏目標的背景圖，x為背景圖，將二者進行一定比例s的混合，通過s來控制最終偽裝圖像的識別度。

4.根據權利要求1所述的一種基于多尺度生成對抗網絡的偽裝圖像生成方法，其特征在于，所述判別訓練具體為：

在風格轉換網絡，先通過預訓練的分類網絡VGG-19，進行特征提取，然后通過GRAM矩陣運算和后續的步長卷積作進一步特征篩選和優化，最后將各個特征拼接作為風格特征結果，GRAM矩陣計算公式為

其中F是由VGG-19網絡抽取到的特征，l表示所處的特征層，ik、jk表示特征圖的坐標。

5.根據權利要求4所述的一種基于多尺度生成對抗網絡的偽裝圖像生成方法，其特征在于，所述每個尺度的判別訓練總損失函數具體為：

其中，L_rec＝||G_n(x_n)-x_n||²，L_adv為對抗損失項，用來保證對背景圖像的風格進行定向訓練與生成，用于判別真實分布x～P_r與生成分布的距離，為梯度懲罰項，用于保證損失函數平穩訓練，L_rec為重建損失項，采用了二階范數，用于保證在每個尺度上，背景圖像輸入，生成的圖像要與輸入保持一樣。

6.根據權利要求1所述的一種基于多尺度生成對抗網絡的偽裝圖像生成方法，其特征在于，所述輸入到上一層尺度具體為：

對當前尺度生成圖像的放大結果進行圖像修改：

其中，表示小尺度結果的上采樣結果，x_k表示放縮到當前尺度的背景圖，將二者按照一定比例β混合，得到該尺度的輸入圖像x′_k。

7.根據權利要求6所述的一種基于多尺度生成對抗網絡的偽裝圖像生成方法，其特征在于，所述圖像修改在包含初始尺度直至最終尺度在內的所有尺度每一層尺度的輸入前都要進行。