[發(fā)明專利]一種基于變分自動(dòng)編碼器和生成對(duì)抗網(wǎng)絡(luò)的圖像轉(zhuǎn)化方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201710296010.8
• 申請(qǐng)日: 2017-04-28
• 公開(kāi)（公告）號(hào): CN107123151A
• 公開(kāi)（公告）日: 2017-09-01
• 發(fā)明（設(shè)計(jì)）人: 夏春秋
• 申請(qǐng)（專利權(quán)）人: 深圳市唯特視科技有限公司
• 主分類號(hào): G06T9/00
• 分類號(hào): G06T9/00
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.一種基于變分自動(dòng)編碼器和生成對(duì)抗網(wǎng)絡(luò)的圖像轉(zhuǎn)化方法，其特征在于，主要包括變分自動(dòng)編碼器(VAE)(一)；權(quán)重共享(二)；生成對(duì)抗網(wǎng)絡(luò)(GAN)(三)；學(xué)習(xí)(四)。

2.基于權(quán)利要求書1所述的無(wú)監(jiān)督圖像到圖像翻譯(UNIT)網(wǎng)絡(luò)，其特征在于，該框架包括變分自動(dòng)編碼器(VAE)和生成對(duì)抗網(wǎng)絡(luò)(GAN)；它由6個(gè)子網(wǎng)絡(luò)組成：包括兩個(gè)域圖像編碼器E₁和E₂，兩個(gè)域圖像生成器G₁和G₂，以及兩個(gè)域?qū)硅b別器D₁和D₂；令和為兩個(gè)不同的圖像域；在受監(jiān)督的圖像到圖像轉(zhuǎn)化問(wèn)題中，從聯(lián)合分布繪制訓(xùn)練樣本(x₁，x₂)；在無(wú)監(jiān)督設(shè)置中，僅從邊際分布和給出訓(xùn)練樣本。

3.基于權(quán)利要求書1所述的變分自動(dòng)編碼器(VAE)(一)，其特征在于，編碼器-發(fā)生器對(duì){E₁,G₁}構(gòu)成了VAE₁的域的VAE；對(duì)于輸入圖像VAE₁首先通過(guò)編碼器E₁映射到潛在空間中的代碼，然后解碼，經(jīng)生成器G₁重建輸入圖像；編碼器輸出平均矢量E_1，μ(x₁)和方差矢量其中潛碼z₁的分布由給出；矩陣對(duì)角元素提取操作符將向量轉(zhuǎn)換為對(duì)角矩陣，其中對(duì)角元素是向量的分量；重建圖像為這里將q₁(z₁|x₁)的分布作為的隨機(jī)向量的符號(hào)，并從中采樣；

類似地，{E₂,G₂}構(gòu)成域的VAE：VAE₂；編碼器E₂輸出平均矢量和方差矢量潛碼z₂的分布由給出；重建圖像表示為

4.基于權(quán)利要求書3所述的采樣，其特征在于，采樣操作z₁～q₁(z₁|x₁)可以通過(guò)實(shí)現(xiàn)，其中，是Hadamard乘法；同樣，z₂～q₂(z₂|x₂)采樣操作后為

5.基于權(quán)利要求書1所述的權(quán)重共享(二)，其特征在于，為了使兩個(gè)VAE中的表示相關(guān)聯(lián)，強(qiáng)制執(zhí)行權(quán)重共享約束；基于兩個(gè)域中一對(duì)相應(yīng)圖像的高級(jí)表示，共享提取兩個(gè)域中的輸入圖像的高級(jí)表示E₁和E₂最后幾層的權(quán)重；類似地，共享解碼高級(jí)表示，重建輸入圖像G₁和G₂前幾層的權(quán)重。

6.基于權(quán)利要求書5所述的潛在代碼，其特征在于，相同的潛碼可以被解碼，在兩個(gè)域中輸出兩個(gè)不相關(guān)的圖像；通過(guò)對(duì)抗訓(xùn)練，分別將兩個(gè)域中的一對(duì)相應(yīng)圖像分別映射到E₁和E₂的公共潛在代碼，并將潛在的代碼映射到兩個(gè)對(duì)應(yīng)的圖像中，分別為G₁和G₂。

7.基于權(quán)利要求書6所述的共享潛在空間，其特征在于，和的共享潛在空間能完成圖像到圖像的轉(zhuǎn)化；通過(guò)應(yīng)用G₂(z₁～q₁(z₁|x₁))將中的圖像x₁轉(zhuǎn)換為中的圖像；將這樣的信息處理流稱為圖像轉(zhuǎn)化流；兩個(gè)圖像轉(zhuǎn)化流存在于UNIT框架中：和兩個(gè)流與圖像重建流聯(lián)合訓(xùn)練；一旦確保一對(duì)相應(yīng)的圖像被映射到相同的潛伏碼，并且相同的潛碼解碼成一對(duì)對(duì)應(yīng)的圖像，則(x₁，G₂(z₁～q₁(z₁|x₁)))將形成一對(duì)相應(yīng)的圖像。