[發(fā)明專利]一種生成圖像超分辨網(wǎng)絡(luò)的神經(jīng)組件搜索方法

在審

• 申請?zhí)枺?/td>: 202110762910.3
• 申請日: 2021-07-06
• 公開（公告）號: CN113298239A
• 公開（公告）日: 2021-08-24
• 發(fā)明（設(shè)計）人: 莫凌飛;管旭辰
• 申請（專利權(quán)）人: 東南大學(xué)
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06T3/40;G06K9/46;G06K9/62
• 代理公司: 南京眾聯(lián)專利代理有限公司 32206
• 代理人: 周蔚然

1.一種生成圖像超分辨網(wǎng)絡(luò)的神經(jīng)組件搜索方法，分為搜索和精煉兩個過程，其特征在于：包括如下步驟：

步驟S1：設(shè)計搜索空間搜索空間是一種待搜索的超圖，包含搜索所有的網(wǎng)絡(luò)節(jié)點、連接路徑、損失函數(shù)、色彩空間；

步驟S2：使用控制器從搜索空間中采樣網(wǎng)絡(luò)組件構(gòu)建圖像超分辨重建網(wǎng)絡(luò)子圖，該子圖包含網(wǎng)絡(luò)參數(shù)為的共享生成器和網(wǎng)絡(luò)為的共享鑒別器；共享生成器分為四類單元，共享鑒別器分為一類單元；

步驟S3：訓(xùn)練共享生成器的網(wǎng)絡(luò)參數(shù)和共享鑒別器的網(wǎng)絡(luò)參數(shù)訓(xùn)練方法遵循生成對抗式網(wǎng)絡(luò)的訓(xùn)練，共享生成器和共享鑒別器交替訓(xùn)練固定的輪次。該步驟訓(xùn)練結(jié)束后，講共享生成器在驗證集上進行評估，得到峰值信噪比和結(jié)構(gòu)相似性指標(biāo)；

步驟S4：訓(xùn)練控制器參數(shù)θ_c；使用步驟S3得到的PSNR和SSIM以及REINFORCE算法計算估計梯度，更新控制器參數(shù)θ_c；

步驟S5：重復(fù)步驟S2到步驟S4，直到訓(xùn)練達到指定接待次數(shù)，搜索過程終止；

步驟S6：精煉模型，將步驟S2到步驟S5搜索出的模型放到完整的數(shù)據(jù)集上進行較長輪次的訓(xùn)練，得到最終的超分辨圖像重建模型，其參數(shù)為

2.根據(jù)權(quán)利要求1所述的一種生成圖像超分辨網(wǎng)絡(luò)的神經(jīng)組件搜索方法，其特征在于：步驟S1所述的色彩空間，選取常用的RGB和YCbCr未作待搜索的色彩空間；當(dāng)選擇RGB作為色彩空間時，搜索出的圖像超分辨重建網(wǎng)絡(luò)生成3通道圖像；當(dāng)選擇YCbCr作為色彩空間時，由于人類對亮度空間敏感，搜索出的圖像超分辨重建網(wǎng)絡(luò)僅重構(gòu)YCbCr中的亮度通道，而通過插值的方法快讀構(gòu)建其他兩個色差通道。

3.根據(jù)權(quán)利要求1所述的一種生成圖像超分辨網(wǎng)絡(luò)的神經(jīng)組件搜索方法，其特征在于：步驟S2所述的共享生成器搜索空間，其定義了圖像超分辨重建網(wǎng)絡(luò)的結(jié)構(gòu)搜索空間，包含搜索可能的自適應(yīng)殘差稠密網(wǎng)絡(luò)分支；共享生成器包含四個主要模塊，分別是淺層特征提取SFE、自適應(yīng)特征提取AFE、深度特征提取DFE和上采樣Upsample；共享生成器中加入了插值連接IS，在存在IS的情況下，生成器生成的是插值后圖像的像素細節(jié)調(diào)整，而不是完整的圖像像素強度。

4.根據(jù)權(quán)利要求3所述的一種生成圖像超分辨網(wǎng)絡(luò)的神經(jīng)組件搜索方法，其特征在于：所述淺層特征提取層SFE，分為SFE₁和SFE₂；深層特征提取層DFE也分為DFE₁和DFE₂；對于SFE₁，搜索空間取決于不同色彩空間下SFE₁的輸入通道數(shù)量；當(dāng)色彩空間為RGB時，SFE₁的輸入通道為3；當(dāng)色彩空間為YCbCr時，SFE₁的輸入通道數(shù)為1；同樣，DFE₂的搜索空間時不同色彩空間下的輸出通道數(shù)，DFE₂的色彩空間為RGB和YCbCr時的輸出通道分別為3和1。