[發明專利]基于循環對抗網絡的無監督圖像變換方法及裝置

在審

• 申請號: 202011019829.8
• 申請日: 2020-09-24
• 公開（公告）號: CN112270648A
• 公開（公告）日: 2021-01-26
• 發明（設計）人: 戴瓊海;李欣陽;張國勛;吳嘉敏;喬暉;王好謙
• 申請（專利權）人: 清華大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/08;G06N3/04
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張大威

1.一種基于循環對抗網絡的無監督圖像變換方法，其特征在于，包括以下步驟：

步驟S1：搭建循環對抗網絡，所述循環對抗網絡包括用于輸入圖像轉換為輸出圖像的前向生成網絡和后向生成網絡及用于判斷對應生成結果是否是真實的前向判別網絡和后向判別網絡；

步驟S2：設計網絡損失函數，所述網絡損失函數包括：第一部分為所述循環對抗網絡的對抗損失；第二部分為循環一致性損失，使得循環生成的圖像和原始圖像的差別應該最小；第三部分為顯著性約束，屬弱約束，以限定圖像內容在輸出圖像坐標系中的位置；

步驟S3：采用非監督機制制作數據集，其中，將源域模式的大圖拆分成第一預設尺寸的小圖放入源域，且將目標域風格的大圖拆分成所述第二預設尺寸的小圖放入目標域；

步驟S4：以最小化代價函數為目標訓練生成網絡和判別網絡；以及

步驟S5：輸入目標圖像至訓練好的所述循環對抗網絡，得到圖像變換結果。

2.根據權利要求1所述的方法，其特征在于，所述前向生成網絡和后向生成網絡采用深度殘差網絡，其包括三層的下采樣卷積層與緊接著的九個相連的殘差塊及上采樣的輸出層，其中，包含的跨度連接將信息無損地傳輸到后續的卷積層。

3.根據權利要求2所述的方法，其特征在于，所述前向判別網絡和后向判別網絡采用PatchGAN結構，以通過持續相連的下采樣層學習數據的抽象表征，在感受野的尺度上判斷輸出結果的真假結果。

4.根據權利要求1所述的方法，其特征在于，所述第一部分對抗損失采用通用的交叉熵方法；循環一致性約束表示為通過輸入圖像和循環生成圖像之間的L1范數衡量；所述顯著性約束通過閾值分割算法生成，其中，確定分割閾值后，使得所述圖像和所述前向生成網絡生成的圖像應該盡可能接近，輸出的圖像應該和循環生成的圖像盡可能接近，所述顯著性約束同時施加到前向映射和后向映射中。

5.根據權利要求1所述的方法，其特征在于，所述以最小化代價函數為目標訓練生成網絡和判別網絡，包括：

采用預設的Adam優化器進行網絡參數的優化。

6.一種基于循環對抗網絡的無監督圖像變換裝置，其特征在于，包括：

搭建模塊，用于搭建循環對抗網絡，所述循環對抗網絡包括用于輸入圖像轉換為輸出圖像的前向生成網絡和后向生成網絡及用于判斷對應生成結果是否是真實的前向判別網絡和后向判別網絡；

設計模塊，用于設計網絡損失函數，所述網絡損失函數包括：第一部分為所述循環對抗網絡的對抗損失；第二部分為循環一致性損失，使得循環生成的圖像和原始圖像的差別應該最小；第三部分為顯著性約束，屬弱約束，以限定圖像內容在輸出圖像坐標系中的位置；

制作模塊，用于采用非監督機制制作數據集，其中，將源域模式的大圖拆分成第一預設尺寸的小圖放入源域，且將目標域風格的大圖拆分成所述第二預設尺寸的小圖放入目標域；

生成模塊，用于以最小化代價函數為目標訓練生成網絡和判別網絡；以及

獲取模塊，用于輸入目標圖像至訓練好的所述循環對抗網絡，得到圖像變換結果。

7.根據權利要求6所述的裝置，其特征在于，所述前向生成網絡和后向生成網絡采用深度殘差網絡，其包括三層的下采樣卷積層與緊接著的九個相連的殘差塊及上采樣的輸出層，其中，包含的跨度連接將信息無損地傳輸到后續的卷積層。

8.根據權利要求7所述的裝置，其特征在于，所述前向判別網絡和后向判別網絡采用PatchGAN結構，以通過持續相連的下采樣層學習數據的抽象表征，在感受野的尺度上判斷輸出結果的真假結果。

9.一種電子設備，其特征在于，包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述處理器執行所述程序，以實現如權利要求1-5任一項所述的基于循環對抗網絡的無監督圖像變換方法。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行，以用于實現如權利要求1-5任一項所述的基于循環對抗網絡的無監督圖像變換方法。