[發(fā)明專(zhuān)利]高解析度風(fēng)格遷移

在審

• 申請(qǐng)?zhí)枺?/td>: 201910161423.4
• 申請(qǐng)日: 2019-03-04
• 公開(kāi)（公告）號(hào): CN110555795A
• 公開(kāi)（公告）日: 2019-12-10
• 發(fā)明（設(shè)計(jì)）人: 張志飛;林哲;王兆聞
• 申請(qǐng)（專(zhuān)利權(quán)）人: 奧多比公司
• 主分類(lèi)號(hào): G06T3/00
• 分類(lèi)號(hào): G06T3/00
• 代理公司: 11256 北京市金杜律師事務(wù)所
• 代理人: 酆迅

描述了高解析度風(fēng)格遷移技術(shù)和系統(tǒng)，該高解析度風(fēng)格遷移技術(shù)和系統(tǒng)克服了將高解析度風(fēng)格特征從一個(gè)圖像遷移到另一圖像的挑戰(zhàn)，以及用來(lái)執(zhí)行高解析度風(fēng)格遷移的訓(xùn)練數(shù)據(jù)的有限可用性的挑戰(zhàn)。在示例中，訓(xùn)練神經(jīng)網(wǎng)絡(luò)使用從風(fēng)格圖像中提取的高解析度風(fēng)格特征而被訓(xùn)練，并且與輸入圖像結(jié)合地被使用以將風(fēng)格特征應(yīng)用于輸入圖像以生成使用高解析度風(fēng)格特征所轉(zhuǎn)換的輸入圖像的版本。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理，更具體地涉及高解析度風(fēng)格遷移。

背景技術(shù)

風(fēng)格遷移實(shí)現(xiàn)來(lái)自一個(gè)圖像(“風(fēng)格圖像”)的風(fēng)格信息被遷移到另一圖像(內(nèi)容圖像)，以基于風(fēng)格圖像的風(fēng)格屬性來(lái)轉(zhuǎn)換內(nèi)容圖像。例如，來(lái)自繪畫(huà)的圖像的畫(huà)筆筆劃和顏色信息可以被遷移到照片，以使用來(lái)自繪畫(huà)的畫(huà)筆筆劃和顏色信息來(lái)生成包括照片的原始內(nèi)容的該照片的風(fēng)格化版本。

可以利用機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)來(lái)提供用于執(zhí)行風(fēng)格遷移的特別強(qiáng)大的工具。例如，基于訓(xùn)練風(fēng)格圖像以及標(biāo)識(shí)由訓(xùn)練風(fēng)格圖像所展現(xiàn)的風(fēng)格屬性的風(fēng)格特征，計(jì)算設(shè)備可以使用機(jī)器學(xué)習(xí)來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)。然后，計(jì)算設(shè)備可以使用經(jīng)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)處理輸入圖像，以將輸入圖像轉(zhuǎn)換成與訓(xùn)練風(fēng)格圖像的各種風(fēng)格屬性匹配的輸入圖像的風(fēng)格化版本。

在一些傳統(tǒng)技術(shù)中，利用卷積神經(jīng)網(wǎng)絡(luò)(CNN)將來(lái)自風(fēng)格圖像的風(fēng)格信息遷移到輸入內(nèi)容圖像。這些技術(shù)通常依賴(lài)于使用經(jīng)訓(xùn)練的CNN來(lái)迭代地處理輸入圖像，以使輸入圖像能逐漸接近特定風(fēng)格圖像的風(fēng)格。然而，由于其高的計(jì)算復(fù)雜性，這些技術(shù)可能是時(shí)間和資源密集型的。

其他傳統(tǒng)技術(shù)利用前饋網(wǎng)絡(luò)來(lái)執(zhí)行從風(fēng)格圖像到輸入圖像的一次通過(guò)的風(fēng)格轉(zhuǎn)換。雖然這些技術(shù)可以降低用于單個(gè)風(fēng)格遷移項(xiàng)目的、基于CNN技術(shù)的計(jì)算復(fù)雜度，但是它們通常受到限制，因?yàn)楸仨氠槍?duì)每個(gè)風(fēng)格圖像訓(xùn)練單獨(dú)的模型。這限制了用于施加不同風(fēng)格的技術(shù)的適用性。一些更近期的技術(shù)已經(jīng)努力調(diào)整前饋網(wǎng)絡(luò)來(lái)達(dá)成使用任意風(fēng)格的快速風(fēng)格遷移，但是這些技術(shù)通常僅達(dá)成了粗略的風(fēng)格信息遷移并且無(wú)法從風(fēng)格圖像中捕獲更精細(xì)的紋理特征。

發(fā)明內(nèi)容

描述了高解析度風(fēng)格遷移技術(shù)和系統(tǒng)，其克服了將高解析度風(fēng)格特征從一個(gè)圖像遷移到另一圖像的挑戰(zhàn)，以及用來(lái)執(zhí)行高解析度風(fēng)格遷移的訓(xùn)練數(shù)據(jù)的有限可用性的挑戰(zhàn)。在示例中，高解析度風(fēng)格特征從風(fēng)格圖像中被提取，并且與輸入圖像結(jié)合使用以將風(fēng)格特征應(yīng)用于輸入圖像，來(lái)生成使用高解析度風(fēng)格特征而被轉(zhuǎn)換的輸入圖像的版本。

為此，風(fēng)格遷移神經(jīng)網(wǎng)絡(luò)首先被利用來(lái)將來(lái)自風(fēng)格圖像的粗風(fēng)格特征遷移到輸入圖像以生成遷移圖像，遷移圖像表示利用來(lái)自風(fēng)格圖像的風(fēng)格特征而被轉(zhuǎn)換的輸入圖像的版本。然后使用風(fēng)格圖像和遷移圖像的放大版本生成特征圖。使用特征圖，解析神經(jīng)網(wǎng)絡(luò)被利用來(lái)執(zhí)行特征交換過(guò)程，該過(guò)程生成包括來(lái)自放大的風(fēng)格圖像的高解析度風(fēng)格特征的交換特征圖，這些高解析度風(fēng)格特征被交換(exchange)(“交換(swap)”)以用于匹配來(lái)自放大遷移圖像的特征。然后將交換特征圖和放大遷移圖像輸入到解析神經(jīng)網(wǎng)絡(luò)中，該解析神經(jīng)網(wǎng)絡(luò)將來(lái)自交換特征圖的高解析度風(fēng)格特征應(yīng)用于放大遷移圖像以生成解析圖像作為輸出。通常，解析圖像表示具有比原始遷移圖像更高解析度的風(fēng)格特征的原始風(fēng)格遷移圖像的版本。

本“發(fā)明內(nèi)容”以簡(jiǎn)化的形式介紹了一些概念，這些概念將在下面的“具體實(shí)施方式”中進(jìn)一步描述。這樣，本“發(fā)明內(nèi)容”不旨在標(biāo)識(shí)所要求保護(hù)的主題的必要特征，也不旨在用于幫助確定所要求保護(hù)的主題的范圍。

附圖說(shuō)明

本專(zhuān)利或申請(qǐng)文件包含至少一幅彩色附圖。具有(多個(gè))彩色附圖的本專(zhuān)利或?qū)＠暾?qǐng)公開(kāi)的副本將在請(qǐng)求和支付必要費(fèi)用之后由主管局提供。

參考附圖描述具體實(shí)施方式。附圖中表示的實(shí)體可以指示一個(gè)或多個(gè)實(shí)體，并且因此在討論中可以可互換地引用單個(gè)或多個(gè)形式的實(shí)體。

圖1是可操作以采用本文中描述的高解析度風(fēng)格遷移技術(shù)的示例實(shí)現(xiàn)中的環(huán)境的圖示。