[發(fā)明專利]一種基于小波變換的可逆流模型圖像超分辨率的方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110783441.3
• 申請(qǐng)日: 2021-07-12
• 公開(kāi)（公告）號(hào): CN113362230A
• 公開(kāi)（公告）日: 2021-09-07
• 發(fā)明（設(shè)計(jì)）人: 王蒙;邵逸軒;王強(qiáng);李鑫凱;陳家興
• 申請(qǐng)（專利權(quán)）人: 昆明理工大學(xué)
• 主分類號(hào): G06T3/40
• 分類號(hào): G06T3/40;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 昆明明潤(rùn)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 53215
• 代理人: 馬海紅

本發(fā)明涉及了一種基于小波變換的可逆流模型圖像超分辨率的方法，屬于人工智能、圖像處理領(lǐng)域。本發(fā)明結(jié)合小波變換、標(biāo)準(zhǔn)化流(Flow)模型、自注意力、混合回歸累計(jì)分布函數(shù)與變分去量化實(shí)現(xiàn)圖像超分辨率重構(gòu)。在標(biāo)準(zhǔn)化流可逆模型中，結(jié)合正交小波變換做多尺度信號(hào)表示，高效且高度并行地訓(xùn)練符合可逆性的雅克比矩陣，作為標(biāo)準(zhǔn)化流的一部分。同時(shí)，本發(fā)明引入了變分去量化方式，較傳統(tǒng)的均勻去量化提升了訓(xùn)練效果和泛化損失，且變分推斷的噪聲分布能夠被更好地?cái)M合。此外，將自注意力、混合回歸累計(jì)分布函數(shù)引入標(biāo)準(zhǔn)化流模型的耦合變換中，從而提高耦合層的密度建模性能。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于小波變換的可逆流模型圖像超分辨率的方法，具體為一 種利用訓(xùn)練數(shù)據(jù)集得到模型來(lái)講模糊圖像生成清晰圖像的方法，屬于人工智能、 圖像處理領(lǐng)域。

背景技術(shù)

圖像超分辨率(SR)是一個(gè)非常活躍的研究課題，有著許多重要的應(yīng)用。 它通過(guò)增加缺失的高頻信息來(lái)提高給定圖像的分辨率。早期基于學(xué)習(xí)的方法主要 采用基于稀疏編碼的技術(shù)或局部線性回歸。2014年，SRCNN首先證明了基于實(shí) 例的深度學(xué)習(xí)對(duì)超分辨率的有效性，這進(jìn)一步導(dǎo)致了更有效的網(wǎng)絡(luò)架構(gòu)的發(fā)展。 然而，由于它們依賴于L2和L1的重建損失，這些方法并不能再現(xiàn)自然圖像中 存在的清晰細(xì)節(jié)。在URDGN、SRGAN中，采用基于條件GAN的架構(gòu)和培訓(xùn) 策略解決了這一點(diǎn)。雖然GANs提供了一種學(xué)習(xí)數(shù)據(jù)上分布的方法，但條件GANs 非常容易出現(xiàn)模式崩潰，因?yàn)樗鼈兒苋菀讓W(xué)會(huì)忽略隨機(jī)輸入信號(hào)。因此，大多數(shù) 基于條件GAN的超分辨率和圖像到圖像的轉(zhuǎn)換方法都采用純確定性映射。van den Oord等人也描述了PixelRNN的多尺度變體，它以較低分辨率的輸入為條件 生成完整的高分辨率圖像。但是，該結(jié)構(gòu)不將條件生成限于高分辨率圖像的添加 內(nèi)容。因此，這種模型只能用于生成，而不能進(jìn)行推斷。

標(biāo)準(zhǔn)化流(Flow)是一類概率生成模型，能夠快速計(jì)算密度與高效采樣，它 們也被證明可以有效地模擬復(fù)雜的分布，如圖像分布，因此可以在超分辨率應(yīng)用 場(chǎng)景上發(fā)揮巨大的作用。類似于變分自編碼器，流模型同樣是將概率分布映射在 潛變量中。標(biāo)準(zhǔn)化流通過(guò)一系列轉(zhuǎn)換推動(dòng)一個(gè)簡(jiǎn)單的密度，以產(chǎn)生更豐富、可能 更多的模態(tài)分布。重復(fù)將簡(jiǎn)單的變換應(yīng)用到單模初始密度也會(huì)導(dǎo)致非常復(fù)雜的模 型。由于流的這個(gè)簡(jiǎn)單重復(fù)的特點(diǎn)，導(dǎo)致模型表達(dá)性欠缺，由此引入了耦合層來(lái) 增強(qiáng)表達(dá)性。

然而，目前的流模型帶有大量的計(jì)算成本，通常需要數(shù)月的GPU訓(xùn)練時(shí)間 來(lái)達(dá)到最先進(jìn)的結(jié)果。這在一定程度上是由歸一化流是可逆的和保持維數(shù)的要求 所導(dǎo)致的。Dinh等人針對(duì)這個(gè)問(wèn)題給出了解決方案，并引入了一種多尺度流模 型的形式，作為這種多尺度流模型的補(bǔ)充，Ardizzone等人進(jìn)一步提出了使用Haar 小波變換來(lái)重整形并降低歸一化流內(nèi)的空間分辨率。雖然這樣帶來(lái)了訓(xùn)練速度的 加快，但是仍然在訓(xùn)練損失，耦合層表達(dá)性和泛化上表現(xiàn)不夠優(yōu)異，仍落后于 VAE模型。

發(fā)明內(nèi)容

本發(fā)明的目的是針對(duì)上述已有技術(shù)存在的不足和缺陷，在精確訓(xùn)練生成清晰 圖像任務(wù)中，提供了一種基于小波變換的可逆流模型圖像超分辨率的方法。

本發(fā)明采用的技術(shù)方案是：一種基于小波變換的可逆流模型圖像超分辨率的 方法，結(jié)合了小波變換、標(biāo)準(zhǔn)化流模型、自注意力、混合回歸累計(jì)分布函數(shù)與變 分去量化。標(biāo)準(zhǔn)化流是一類概率生成模型，最早的標(biāo)準(zhǔn)化流模型是Dinh,Krueger 與Bengio于2014年投遞的NICE，隨后他們又在2016年發(fā)布了RealNVP，它通 過(guò)增加更靈活的耦合層來(lái)提高NICE的表達(dá)性。流模型能夠快速計(jì)算密度與高效 采樣，同時(shí)也被證明可以有效地模擬復(fù)雜的分布，如圖像分布，因此可以在超分 辨率應(yīng)用場(chǎng)景上發(fā)揮巨大的作用。類似于變分自編碼器，流模型同樣是將概率分 布映射在潛變量中。標(biāo)準(zhǔn)化流通過(guò)一系列轉(zhuǎn)換推動(dòng)一個(gè)簡(jiǎn)單的密度，以產(chǎn)生更豐 富、可能更多的模態(tài)分布。