[發(fā)明專利]一種生成圖像超分辨網(wǎng)絡(luò)的神經(jīng)組件搜索方法

在審

• 申請?zhí)枺?/td>: 202110762910.3
• 申請日: 2021-07-06
• 公開（公告）號: CN113298239A
• 公開（公告）日: 2021-08-24
• 發(fā)明（設(shè)計(jì)）人: 莫凌飛;管旭辰
• 申請（專利權(quán)）人: 東南大學(xué)
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06T3/40;G06K9/46;G06K9/62
• 代理公司: 南京眾聯(lián)專利代理有限公司 32206
• 代理人: 周蔚然

本發(fā)明公開了一種生成圖像超分辨網(wǎng)絡(luò)的神經(jīng)組件搜索方法，該方法可搜索不同算力限制下的圖像超分辨網(wǎng)絡(luò)，其網(wǎng)絡(luò)大小可伸縮。該方法除神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)外，還可搜索色彩空間、損失函數(shù)組成及其他影響神經(jīng)網(wǎng)絡(luò)訓(xùn)練、推理性能的神經(jīng)組件。該方法同時(shí)使用權(quán)值共享策略，全部搜索空間構(gòu)建的超圖權(quán)值可以被搜索出來的子圖繼承，大大加快了搜索時(shí)間。本發(fā)明針對圖像超分辨重建應(yīng)用，構(gòu)建了簡易性超圖，并搜索出慢、一般、快三種圖像超分辨網(wǎng)絡(luò)。此外，該發(fā)明不僅適用于圖像超分辨網(wǎng)絡(luò)這一領(lǐng)域，也可作為一個(gè)通用框架，通過更改搜索空間，可使用提出的伸進(jìn)組件搜索方法搜索出其他應(yīng)用的神經(jīng)網(wǎng)絡(luò)。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像超分辨技術(shù)領(lǐng)域，具體涉及一種生成圖像超分辨網(wǎng)絡(luò)的神經(jīng)組件搜索方法。

背景技術(shù)

現(xiàn)在的圖像超分重建方法可分為基于插值的方法和基于學(xué)習(xí)的方法。基于插值的方法可使用參數(shù)化方法，如雙三次插值；也可使用非參數(shù)化回歸方法如邊緣有向插值、歸一化卷積、雙邊濾波等來對圖像的尺度進(jìn)行上采樣。然而，基于插值的圖像超分辨重建方法在平滑區(qū)域(低頻)表現(xiàn)較好，在邊緣區(qū)域(高頻)表現(xiàn)較差，因?yàn)樗鼈內(nèi)菀壮霈F(xiàn)邊緣模糊和鋸齒狀偽影。

基于學(xué)習(xí)的圖像超分辨重建方法有些不錯(cuò)的重建效果，但大多數(shù)基于學(xué)習(xí)的圖像超分辨重建網(wǎng)絡(luò)是手工設(shè)計(jì)的。根據(jù)經(jīng)驗(yàn)和多次實(shí)驗(yàn)調(diào)整而手工設(shè)計(jì)的網(wǎng)絡(luò)存在的問題在于，不同的網(wǎng)絡(luò)需要在不同的超分辨場景下進(jìn)行訓(xùn)練，網(wǎng)絡(luò)在結(jié)構(gòu)和損失函數(shù)等諸多方面均存在差異。

為了彌補(bǔ)上述手工設(shè)計(jì)網(wǎng)絡(luò)的不足，幾年來研究人員也提出了使用神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索方法(Neural Architecture Search,NAS)來搜索圖像超分辨網(wǎng)絡(luò)結(jié)構(gòu)的思路。目前使用神經(jīng)結(jié)構(gòu)搜索的方法使用了混合控制算法，利用強(qiáng)化學(xué)習(xí)(ReinforcementLearning,RL)和進(jìn)化算法(Evolution Algorithm,EA)從彈性空間采樣圖像超分辨重建網(wǎng)絡(luò)，可以在給定的約束條件下，產(chǎn)生高質(zhì)量的網(wǎng)絡(luò)模型；同時(shí)從模型評估過程中采集有價(jià)值信息來指導(dǎo)網(wǎng)絡(luò)進(jìn)化，以實(shí)現(xiàn)有效的超分辨網(wǎng)絡(luò)搜索，同時(shí)加速收斂。不過在這些神經(jīng)結(jié)構(gòu)搜索方法中，搜索空間僅局限于網(wǎng)絡(luò)結(jié)構(gòu)，在損失函數(shù)和訓(xùn)練策略方面仍引入了大量的人工先驗(yàn)知識；且大多數(shù)搜索方法采用了遺傳算法，搜索空間大，導(dǎo)致了搜索時(shí)間長。

為了增大圖像超分辨重建網(wǎng)絡(luò)搜索空間的靈活性、加快搜索效率，本發(fā)明提出了參數(shù)共享的神經(jīng)組件搜索方法(Neural Component Search,NCS)，并建立了搜索空間，搜索出了一批用于超分辨圖像重建的自適應(yīng)殘差稠密網(wǎng)絡(luò)(Adaptive Residual DenseNetwork,ARDN)。與僅搜索網(wǎng)絡(luò)結(jié)構(gòu)的NAS方法不同，本發(fā)明提出的NCS方法還可以搜索色彩空間、損失函數(shù)組成以及其他影響神經(jīng)網(wǎng)絡(luò)訓(xùn)練、推理性能的神經(jīng)組件。同時(shí)，本發(fā)明提出的NCS除應(yīng)用于圖像超分辨領(lǐng)域外，也可作為一種通用框架，通過更改搜索空間的設(shè)置，可快速應(yīng)用與其他應(yīng)用神經(jīng)網(wǎng)絡(luò)的計(jì)算機(jī)視覺領(lǐng)域。

發(fā)明內(nèi)容

為解決上述問題，本發(fā)明公開了一種生成圖像超分辨網(wǎng)絡(luò)的神經(jīng)組件搜索方法，在給定的算力約束條件下搜索出最優(yōu)的圖像超分辨網(wǎng)絡(luò)，提高超分辨網(wǎng)絡(luò)搜索空間的自由度，減少引入的人工先驗(yàn)，提高搜索速度。

為達(dá)到上述目的，本發(fā)明的技術(shù)方案如下：

一種生成圖像超分辨網(wǎng)絡(luò)的神經(jīng)組件搜索方法，包括以下步驟：

步驟S1：設(shè)計(jì)搜索空間搜索空間是一種待搜索的超圖，包含搜索所有的網(wǎng)絡(luò)節(jié)點(diǎn)、連接路徑、損失函數(shù)、色彩空間；

步驟S2：使用控制器從搜索空間中采樣網(wǎng)絡(luò)組件構(gòu)建圖像超分辨重建網(wǎng)絡(luò)子圖，該子圖包含網(wǎng)絡(luò)參數(shù)為的共享生成器和網(wǎng)絡(luò)為的共享鑒別器；共享生成器分為四類單元，共享鑒別器分為一類單元；