[發(fā)明專利]快速輕型超分辨率重建密集殘差網(wǎng)絡(luò)

在審

• 申請(qǐng)?zhí)枺?/td>: 201811515913.1
• 申請(qǐng)日: 2018-12-12
• 公開(kāi)（公告）號(hào): CN110232653A
• 公開(kāi)（公告）日: 2019-09-13
• 發(fā)明（設(shè)計(jì)）人: 李素梅;石永蓮
• 申請(qǐng)（專利權(quán)）人: 天津大學(xué)青島海洋技術(shù)研究院
• 主分類號(hào): G06T3/40
• 分類號(hào): G06T3/40;G06N3/04
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.快速輕型超分辨率重建密集殘差網(wǎng)絡(luò)，其特征在于：整個(gè)FLSR結(jié)構(gòu)中沒(méi)有池化層和全連接層，只有卷積層和反卷積層；該結(jié)構(gòu)由一個(gè)3層的淺通道和一個(gè)29層的深通道構(gòu)成，在整個(gè)網(wǎng)絡(luò)的末端通過(guò)一個(gè)卷積層將深淺通道的重建信息進(jìn)行融合得到HR；淺通道主要用于恢復(fù)圖像的整體輪廓，保留圖像的原始信息，深通道主要作用是學(xué)習(xí)圖像的高頻紋理信息，它包括特征提取層、非線性映射層、上采樣層和多尺度重建層四個(gè)部分；首先，在特征提取階段，深通道采用密集和殘差交替連接的方式，可以加快網(wǎng)絡(luò)的收斂速度；其次，整個(gè)網(wǎng)絡(luò)直接使用反卷積對(duì)圖像進(jìn)行上采樣，避免了圖像的預(yù)處理過(guò)程，可以減少整個(gè)網(wǎng)絡(luò)進(jìn)行超分重建的復(fù)雜性，使得網(wǎng)絡(luò)可以更加有效的訓(xùn)練；最后，在重建階段，深通道采用多尺度重建的方式，可以同時(shí)提取短和長(zhǎng)的紋理信息進(jìn)行圖像重建；此外FLSR的增強(qiáng)模型FLSR-G在特征提取階段結(jié)合了群卷積，在保持結(jié)果在同一水平的情況下，大大降低了網(wǎng)絡(luò)的參數(shù)和計(jì)算復(fù)雜度。

2.根據(jù)權(quán)利要求1所述快速輕型超分辨率重建密集殘差網(wǎng)絡(luò)，其特征在于：深通道主要包括：

1特征提取層

在特征提取階段大量使用了密集連接跟殘差連接的方式，密集連接將特征提取階段所有層都進(jìn)行兩兩前饋連接，使得該階段所有卷積層都從前面所有層獲得特征圖作為輸入，對(duì)于減緩梯度消失現(xiàn)象起到了重要作用，使得網(wǎng)絡(luò)更加易于訓(xùn)練；殘差連接實(shí)現(xiàn)了后面的卷積層與前面的卷積層之間更短的連接，且該連接允許信號(hào)的反向傳播，減少了在深度卷積神經(jīng)網(wǎng)絡(luò)中，高頻信息在傳遞到后面的卷積網(wǎng)絡(luò)中會(huì)丟失的現(xiàn)象，在網(wǎng)絡(luò)中還起到了補(bǔ)償高頻信息的作用；

特征提取是從原始的LR圖像X中提取大量的小塊，并將每個(gè)小塊表示為高維向量，這些向量包括一組特征映射，其數(shù)量等于向量的維度，特征提取步驟包含11個(gè)卷積層，每一層均設(shè)置了大小為的64個(gè)濾波器，卷積層可以表示為:

l代表第l 個(gè)卷積層，w表示第l層的濾波器，是輸出的特征提取圖，表示卷積運(yùn)算，表示的參數(shù)，其中是一個(gè)濾波器卷積核的大小，是濾波器的數(shù)量，每個(gè)卷積層結(jié)束后緊接著是激活函數(shù)，SRCNN采用整流線性單元（作為激活函數(shù)，ReLU 在x<0 時(shí)硬飽和；由于 x>0時(shí)導(dǎo)數(shù)為 1，所以，ReLU 能夠在x>0時(shí)保持梯度不衰減，從而在一定程度上避免梯度消失問(wèn)題；采用PReLU作為激活函數(shù)，PReLU 是增加了參數(shù)修正的ReLU，其中負(fù)半軸函數(shù)的參數(shù)是可學(xué)習(xí)的,該激活函數(shù)提高了零值附近的模型擬合能力,且仍具有收斂速度快的特點(diǎn)， PReLU可以被定義為一個(gè)通用的激活函數(shù)：

是層上激活函數(shù)的輸入信號(hào)，且激活函數(shù)的輸出可以描述為：

是最終的輸出的特征圖，是第l層的偏置；為解決退化問(wèn)題，對(duì)特征提取的每組網(wǎng)絡(luò)層均使用了恒等映射的快捷連接，此外，殘差結(jié)構(gòu)還可以使網(wǎng)絡(luò)更加快速的收斂；

2非線性映射層

非線性映射層由5層卷積層組成，非線性映射是將每個(gè)高維向量非線性地映射到另一個(gè)高維向量，每個(gè)映射向量在概念上是高分辨率小塊的表示，這些向量包括另一組特征映射，網(wǎng)絡(luò)還利用反卷積對(duì)圖像進(jìn)行上采樣，這樣有效的避免了圖像的預(yù)處理引入新的噪音；

3深淺通道融合

在網(wǎng)絡(luò)中，深層網(wǎng)絡(luò)恢復(fù)高分辨率圖像的高頻細(xì)節(jié)信息，而淺層網(wǎng)絡(luò)只恢復(fù)出圖像的輪廓信息，在網(wǎng)絡(luò)的最后使用一層沒(méi)有激活函數(shù)的卷積層將深淺通道的特征進(jìn)行融合，且使用1x1卷積來(lái)實(shí)現(xiàn)維度縮減，融合層可公式化為：

是輸出的高分辨率融合特征圖，是卷積操作，是輸入的特征圖；

4圖像重建

網(wǎng)絡(luò)結(jié)構(gòu)中采用多尺度重建，可以同時(shí)獲取多個(gè)尺度的特征進(jìn)行重建，該操作聚集上述高分辨率小塊表示來(lái)產(chǎn)生最終的高分辨率圖像，最后的重建圖像預(yù)期與輸入的LR相似。