[發明專利]一種無監督多模態對抗自編碼的圖像生成方法及框架

有效

• 申請號: 201910454914.8
• 申請日: 2019-05-29
• 公開（公告）號: CN110163796B
• 公開（公告）日: 2023-03-24
• 發明（設計）人: 白靜;陳冉;姬卉;李賽賽
• 申請（專利權）人: 北方民族大學
• 主分類號: G06T3/00
• 分類號: G06T3/00
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 馮炳輝

本發明公開了一種無監督多模態對抗自編碼的圖像生成方法及框架，包括步驟：S1、輸入一組共n個同域的圖像數據，它們來自于相同的數據分布，彼此共享部分公有屬性，且各自擁有一些差異屬性；S2、將輸入的圖像數據分別傳入到可變屬性編碼器和固有屬性編碼器中，解耦出數據的固有屬性編碼和可變屬性編碼；S3、在無監督條件下，將可變屬性編碼及其相應的對抗網絡進行對抗學習，以求解出可變屬性編碼的先驗分布空間；S4、在無監督條件下，隨機從可變屬性編碼的先驗分布空間中采樣，并聯合固有屬性編碼通過解碼器，完成單一域數據的多模態翻譯，實現多屬性的變換并生成對應的圖像。本發明可有效解耦域內數據的公共屬性和可變屬性，并生成其多模態變換。

技術領域

本發明涉及計算機視覺、計算機圖形學與機器學習的技術領域，尤其是指一種無監督多模態對抗自編碼的圖像生成方法及框架。

背景技術

隨著深度學習技術和圖像生成技術的不斷發展，圖像翻譯領域涌現出大量優秀工作，應用于圖像著色、超分辨率生成、風格轉換等各個方面。當前來看，現有的圖像翻譯工作都建立在跨域數據的基礎之上，需要明確給定兩個或多個不同的圖像域，而在工業設計領域，可能需要根據一個已有設計自動變換其色彩、光照等屬性；在虛擬家居等領域也可能需要依據一定角度擺放不同類型的椅子、沙發等。在這些應用中，并無明顯可定義的跨域數據，變換數據間具有既定的公共屬性，又同時具備需要變換的差異性屬性，現有的跨域數據翻譯無法滿足這些需求。

發明內容

本發明的目的在于克服現有技術的缺點與不足，針對單一域數據的一對多圖像翻譯需求，提出了一種無監督多模態對抗自編碼的圖像生成方法及框架，可有效解耦域內數據的公共屬性和可變屬性，并生成其多模態變換。在無監督數據的前提下，解碼這些數據的共有屬性，并識別差異性屬性，實現輸入圖像的多模態生成，即保留共有屬性的同時完成差異性屬性的多樣化變換。

為實現上述目的，本發明所提供的技術方案如下：

一種無監督多模態對抗自編碼的圖像生成方法，包括以下步驟：

S1、輸入一組共n個同域的圖像數據，它們來自于相同的數據分布，彼此共享部分公有屬性，且各自擁有一些差異屬性；

S2、將輸入的圖像數據分別傳入到可變屬性編碼器和固有屬性編碼器中，解耦出數據的固有屬性編碼和可變屬性編碼；

S3、在無監督條件下，將可變屬性編碼及其相應的對抗網絡進行對抗學習，以求解出可變屬性編碼的先驗分布空間；

S4、在無監督條件下，隨機從可變屬性編碼的先驗分布空間中采樣，并聯合固有屬性編碼通過解碼器，完成單一域數據的多模態翻譯，實現多屬性的變換并生成對應的圖像。

在步驟S1中，相同的數據分布指的是數據的來源具有一致性；差異屬性指的是在圖像中，同一個物體在不同季節、不同光照、不同時間和不同角度下產生的變化。

在步驟S2中，可變屬性編碼器將數據間的差異屬性作為可變屬性，采用卷積、全局池化、再卷積的設計模式，提取圖像特征并編碼，記為可變屬性編碼E_V；其中，所述卷積共包含五個卷積層，第一個為7*7卷積層，旨在進行淺層特征的初步提取，第二至第五個是4個連續的4*4卷積層，旨在同時實現圖像的下采樣和特征的進一步抽象；緊隨其后的是全局池化層和1*1再卷積層，都旨在提取圖像的高度抽象特征。

在步驟S2中，固有屬性編碼器將數據間的公有屬性作為固有屬性，采用卷積、下采樣、殘差塊的設計模式，提取圖像特征并編碼，記為固有屬性編碼E_I；其中，所述卷積共包含五個卷積層，第一個為7*7卷積層，旨在進行淺層特征的初步提取，第二至第五個是4個連續的4*4卷積層，旨在同時實現圖像的下采樣和特征的進一步抽象；所述下采樣的作用是降低特征維度，減少冗余信息；而最后的殘差塊設計為一種實例正則化密集殘差塊，目的是確保語義特征不變的前提下保留更加豐富的細節特征。