[發(fā)明專利]一種基于生成對抗網(wǎng)絡(luò)的無監(jiān)督多模態(tài)圖像轉(zhuǎn)換方法

在審

• 申請?zhí)枺?/td>: 202110333549.2
• 申請日: 2021-03-29
• 公開（公告）號: CN113160032A
• 公開（公告）日: 2021-07-23
• 發(fā)明（設(shè)計(jì)）人: 周乾偉;劉一波;胡海根;李小薪;周晨;陶俊;吳延壯
• 申請（專利權(quán)）人: 浙江工業(yè)大學(xué)
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州斯可睿專利事務(wù)所有限公司 33241
• 代理人: 王利強(qiáng)

一種基于生成對抗網(wǎng)絡(luò)的無監(jiān)督多模態(tài)圖像轉(zhuǎn)換方法，包括以下步驟：1)同時(shí)輸入屬于A域圖像x_a以及屬于B域圖像x_b進(jìn)入圖像跨域轉(zhuǎn)換神經(jīng)網(wǎng)絡(luò)中；2)編碼器將圖像拆分編碼為圖像內(nèi)容編碼c以及域風(fēng)格編碼s；3)針對不同的域圖像配置不同的特定域編碼m；4)將內(nèi)容編碼c、域風(fēng)格編碼s和特定域編碼m融合并解碼，生成指定目標(biāo)域圖像；5)判別器對生成器生成的圖像進(jìn)行質(zhì)量評判；6)按步驟1)～5)重復(fù)設(shè)定次數(shù)，直到網(wǎng)絡(luò)收斂。本發(fā)明旨在沒有互相匹配的圖像數(shù)據(jù)情況下，利用深度學(xué)習(xí)技術(shù)，只需單個(gè)生成網(wǎng)絡(luò)即可完成多域的圖像生成，高效且有效地實(shí)現(xiàn)無監(jiān)督圖像跨域轉(zhuǎn)換。

技術(shù)領(lǐng)域

本發(fā)明屬于深度學(xué)習(xí)中的生成對抗網(wǎng)絡(luò)領(lǐng)域，并引入了注意力機(jī)制，是一種實(shí)現(xiàn)了無監(jiān)督多模態(tài)圖像轉(zhuǎn)換的方法。

背景技術(shù)

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的子領(lǐng)域，它使用了多層次的非線性信息處理和抽象，用于有監(jiān)督、無監(jiān)督、半監(jiān)督、自監(jiān)督、弱監(jiān)督等的特征學(xué)習(xí)、表示、分類、回歸和模式識別等。近年來，深度神經(jīng)網(wǎng)絡(luò)在監(jiān)督學(xué)習(xí)中取得了巨大的成功，此外，深度學(xué)習(xí)模型在無監(jiān)督、混合和強(qiáng)化學(xué)習(xí)方面也非常成功。因?yàn)槿狈ψ銐虻南闰?yàn)知識，因此難以人工標(biāo)注或標(biāo)注成本太高，我們希望計(jì)算機(jī)能夠代替我們完成這些工作或提供一些幫助，因此無監(jiān)督學(xué)習(xí)在近些年獲得了很大的發(fā)展，這也是深度學(xué)習(xí)領(lǐng)域未來發(fā)展的方向。深度學(xué)習(xí)技術(shù)也越來越受到研究者的重視，并已成功地應(yīng)用于許多實(shí)際應(yīng)用中。

而在生成對抗網(wǎng)絡(luò)(GAN)的應(yīng)用方面，近年來也是深度學(xué)習(xí)領(lǐng)域中一個(gè)熱門的研究課題，也是迄今為止最成功的生成模型。2014年至今，人們對GAN進(jìn)行了廣泛的研究，并提出了大量算法，GAN由兩個(gè)網(wǎng)絡(luò)組成：一個(gè)生成器合一個(gè)判別器，分別負(fù)責(zé)偽造圖片和識別圖片真假。生成器產(chǎn)生圖像的目的是誘使判別器相信它們是真實(shí)的，同時(shí)，判別器會因?yàn)榘l(fā)現(xiàn)假圖片而獲得獎(jiǎng)勵(lì)。通過兩者的相互博弈，共同提高性能。GAN在圖像處理與計(jì)算機(jī)視覺、自然語言處理、語音與音頻、醫(yī)學(xué)以及數(shù)據(jù)科學(xué)中都有著廣泛的應(yīng)用。

近幾年，注意力機(jī)制不管在自然語言處理還是在計(jì)算機(jī)視覺領(lǐng)域中，都是熱門的研究方向。許多學(xué)者也提出了若干種注意力機(jī)制來提高模型的相關(guān)任務(wù)的性能。計(jì)算機(jī)視覺中的注意力機(jī)制的基本思想是想讓模型學(xué)會注意力，即能夠忽略無關(guān)信息而關(guān)注重點(diǎn)信息。

圖像的跨域轉(zhuǎn)換是近些年新興起的一種基于深度學(xué)習(xí)的技術(shù)，它也伴隨著深度學(xué)習(xí)發(fā)展的而發(fā)展迅速。圖像跨域轉(zhuǎn)換旨在學(xué)習(xí)將圖像從一個(gè)域轉(zhuǎn)換到另一個(gè)域的映射。而傳統(tǒng)方法只能做到對底層特征的提取，而卷積神經(jīng)網(wǎng)絡(luò)能夠?qū)D像特征的高層特征的提取，使得圖像內(nèi)容與域風(fēng)格分離提供了可行性。

從目前相關(guān)領(lǐng)域的研究現(xiàn)狀來說，目前的圖像轉(zhuǎn)換算法主要分為兩大類，一種是基于匹配數(shù)據(jù)的圖像轉(zhuǎn)換算法，另一種是基于非匹配數(shù)據(jù)的圖像轉(zhuǎn)換算法。具體來說，數(shù)據(jù)的匹配指的是從內(nèi)容角度來看，兩張圖像具有一致的內(nèi)容屬性，但是從域風(fēng)格角度來看，兩者屬于不同的風(fēng)格域。根據(jù)目前的研究結(jié)果，基于匹配數(shù)據(jù)集的算法實(shí)驗(yàn)效果更優(yōu)，但是匹配的數(shù)據(jù)集稀少，獲取難度大也是不可忽視的問題，這也導(dǎo)致基于匹配數(shù)據(jù)集的風(fēng)格轉(zhuǎn)換算法應(yīng)用的范圍較小，這也促使基于非匹配數(shù)據(jù)的無監(jiān)督圖像轉(zhuǎn)換算法成為了眾多研究者進(jìn)行研究的側(cè)重點(diǎn)。目前的非匹配數(shù)據(jù)算法存在著圖像細(xì)節(jié)不夠清晰，邊緣形狀發(fā)生改變以及訓(xùn)練較為困難等問題。而本發(fā)明利用編解碼器，對圖像進(jìn)行拆分重組操作，對拆分的內(nèi)容編碼進(jìn)行保留，并引入注意力機(jī)制使得網(wǎng)絡(luò)關(guān)注于重要區(qū)域的細(xì)節(jié)信息，能夠解決上述存在的相關(guān)難題。

發(fā)明內(nèi)容

為了克服現(xiàn)有技術(shù)的不足，本發(fā)明提供一種基于生成對抗網(wǎng)絡(luò)的無監(jiān)督多模態(tài)圖像轉(zhuǎn)換方法，在沒有互相匹配的圖像數(shù)據(jù)情況下，利用深度學(xué)習(xí)技術(shù)，實(shí)現(xiàn)將圖像的風(fēng)格所屬域進(jìn)行有效的轉(zhuǎn)換。通過精心設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)，能夠有效地提高轉(zhuǎn)換圖像的質(zhì)量且適應(yīng)于更廣闊的應(yīng)用場景范圍。

本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是：

一種基于生成對抗網(wǎng)絡(luò)的無監(jiān)督多模態(tài)圖像轉(zhuǎn)換方法，所述方法包括以下步驟：