[發明專利]一種基于生成對抗網絡的無監督多模態圖像轉換方法

在審

• 申請號: 202110333549.2
• 申請日: 2021-03-29
• 公開（公告）號: CN113160032A
• 公開（公告）日: 2021-07-23
• 發明（設計）人: 周乾偉;劉一波;胡海根;李小薪;周晨;陶俊;吳延壯
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州斯可睿專利事務所有限公司 33241
• 代理人: 王利強

1.一種基于生成對抗網絡的無監督多模態圖像轉換方法，其特征在于：所述方法包括以下步驟：

1)輸入屬于A域的圖像x_a以及屬于B域的圖像x_b進入圖像跨域轉換神經網絡中進行訓練，圖像跨域轉換神經網絡為包含了生成器與判別器的生成對抗網絡；

2)編碼器將圖像拆分編碼為圖像內容編碼c以及域風格編碼s；

3)針對不同的域圖像配置不同的特定域編碼m；

4)將內容編碼c、域風格編碼s和特定域編碼m融合并解碼，生成指定目標域圖像，若將A域圖像x_a作為源域，則轉換生成B目標域圖像x_a-→b，若將B域圖像x_b作為源域，則轉換生成A目標域圖像x_b-→a；

5)判別器對生成器生成的圖像進行質量評判，區分輸入判別器的圖像是真實圖像或網絡生成的假圖像；

6)將步驟1)～5)不斷重復設定的次數，生成器與判別器不斷相互博弈，共同提高性能，直到網絡收斂。

2.如權利要求1所述的一種基于生成對抗網絡的無監督多模態圖像轉換方法，其特征在于：使用分配的域特定編碼，僅使用一組生成器即可完成其他目標域圖像的生成。

3.如權利要求2所述的一種基于生成對抗網絡的無監督多模態圖像轉換方法，其特征在于：使用的域特定編碼命名為m_i，m_i＝x_i+v，i為一個指定的特定域編號，其中x_i為一個具有50*i個元素的向量，且50*i到50*(i+1)-1為元素1，其余位置為元素0；v是一個符合正太分布的高斯噪聲，v＝N(0，0.2)。

4.如權利要求2或3所述的一種基于生成對抗網絡的無監督多模態圖像轉換方法，其特征在于：所述生成器包含編碼器與解碼器的結構，編碼器對圖像進行編碼操作，其中包含兩個編碼器結構：內容編碼器，對圖像的內容特征進行編碼，生成內容編碼；風格編碼器，對圖像的域風格特征進行編碼，生成域風格編碼；解碼器在淺層空間對編碼進行AdaIN仿射變換，對變換后的內容編碼、域風格編碼和特定域編碼融合，合成對應的目標域風格圖像。

5.如權利要求4所述的一種基于生成對抗網絡的無監督多模態圖像轉換方法，其特征在于：在生成器以及判別器中都引入了注意力機制，設某一層神經網絡提取到的特征圖的通道數為n，對應的n張特征圖用f₁、f₂…f_n表示，引入的注意力機制為：對每個通道的特征圖計算其表示重要性的權重，用w₁、w₂…w_n表示，且所有的權重和為1，即將每個通道對應的權重與特征圖進行加權求和形成熱力圖，得到卷積網絡的特征可視化結果，即