[發(fā)明專利]一種基于彩色圖引導(dǎo)的深度圖超分辨率重建網(wǎng)絡(luò)構(gòu)建方法

有效

• 申請?zhí)枺?/td>: 201911030673.0
• 申請日: 2019-10-28
• 公開（公告）號: CN110930342B
• 公開（公告）日: 2021-10-29
• 發(fā)明（設(shè)計(jì)）人: 楊宇翔;曹旗;高明煜;何志偉;吳占雄
• 申請（專利權(quán)）人: 杭州電子科技大學(xué)
• 主分類號: G06T5/50
• 分類號: G06T5/50
• 代理公司: 杭州君度專利代理事務(wù)所(特殊普通合伙) 33240
• 代理人: 楊舟濤

1.一種基于彩色圖引導(dǎo)的深度圖超分辨率重建網(wǎng)絡(luò)構(gòu)建方法，其特征在于該方法的具體步驟是：

步驟(1)：利用RGB-D相機(jī)獲取同場景彩色圖像和深度圖像

使用RGB-D相機(jī)得到一張低分辨率深度圖像I_depth其分辨率為M*N，和一張相同視角下的高分辨率彩色圖像I_color其分辨率為rM*rN，其中r為倍率，M和N分別為圖像的高和寬；對低分辨率的深度圖像I_depth進(jìn)行雙三次上采樣操作放大至rM*rN，獲得了初始的低質(zhì)量高分辨率深度圖像并把彩色圖像I_color轉(zhuǎn)為YCbCr色彩空間，并取Y通道圖像得到

步驟(2)：基于卷積神經(jīng)網(wǎng)絡(luò)的雙支圖像特征提取結(jié)構(gòu)構(gòu)建，在圖像特征提取階段兩支結(jié)構(gòu)相同，每一支在特征提取的階段由兩層卷積核大小為3*3的卷積層和五個(gè)權(quán)值共享的多尺度殘差塊Multi-scale Recursive Residual Block組成，這個(gè)階段中的所有的卷積層之后都緊連著一個(gè)Rectified Linear Unit激活層，得到了設(shè)計(jì)網(wǎng)絡(luò)的特征提取部分；

(a)和首先各自通過各支的卷積核大小為3*3卷積層得到初始的特征圖和

(b)多尺度殘差結(jié)構(gòu)構(gòu)建，然后各自經(jīng)過五個(gè)多尺度殘差塊的提取特征，輸入特征圖為X_m-1，每個(gè)多尺度殘差塊的計(jì)算步驟如下：

①

首先將特征圖X_m-1經(jīng)過并行結(jié)構(gòu)中卷積核大小為3*3的卷積層之后通過激活層得到的特征圖R1；其中σ(·)代表激活層，為卷積核大小為3*3的卷積層權(quán)值，其上標(biāo)表示該卷積層的結(jié)構(gòu)位置，下標(biāo)表示卷積核大小；

②

同時(shí)特征圖X_m-1也經(jīng)過并行結(jié)構(gòu)中卷積核大小為5*5的卷積層之后通過激活層得到的特征圖P1，其中為卷積核大小為5*5的卷積層權(quán)值；

③

之后將特征圖R1和特征圖P1拼接在一起，輸入卷積核大小為5*5的卷積層通過激活層得到特征圖R2；R1,P1表示將R1和P1階段的特征圖像拼接在一起；

④

最后特征圖R2通過卷積核大小為1*1的卷積層降低維度，并使用殘差連接，將輸入X_m-1與降低維度后的特征圖R2元素相加得到多尺度殘差塊輸出X_m；五個(gè)殘差塊之間，利用遞歸學(xué)習(xí)的思想，將多尺度殘差塊遞歸五次；在遞歸中，不同的多尺度殘差塊之間相同結(jié)構(gòu)位置、相同卷積核大小的卷積層權(quán)值共享；

初始的特征圖和經(jīng)過五個(gè)遞歸的多尺度殘差塊結(jié)構(gòu)之后，得到深度圖像的特征圖和Y通道的特征圖

步驟(3)：特征融合網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)建

特征融合引導(dǎo)階段的網(wǎng)絡(luò)由一個(gè)特征圖像拼接操作、三個(gè)權(quán)值共享的多尺度殘差塊和一個(gè)卷積核大小為3*3的卷積層構(gòu)成，該階段的每個(gè)卷積層之后都緊連一個(gè)RectifiedLinear Unit激活層；

將深度圖像的特征圖和Y通道特征圖首先通過拼接操作得到初始融合特征圖然后經(jīng)過三個(gè)遞歸塊進(jìn)行細(xì)化融合，利用網(wǎng)絡(luò)學(xué)習(xí)中有用的邊緣部分，使彩色圖像充分地起到引導(dǎo)作用，最后經(jīng)過一個(gè)卷積核大小為3*3的卷積層，完成了特征融合引導(dǎo)的構(gòu)造，得到了融合特征圖，記為

步驟(4)：殘差結(jié)構(gòu)構(gòu)建，重建高質(zhì)量高分辨率深度圖像

重建階段的卷積神經(jīng)網(wǎng)絡(luò)由一個(gè)卷積核大小為3*3的卷積層和一次殘差連接操作構(gòu)成；

通過卷積核大小為3*3的卷積層得到重建深度圖像的殘差輸出，記為最后將與進(jìn)行元素對應(yīng)相加，得到最終放大r倍的高分辨率高質(zhì)量深度圖像