[發(fā)明專利]一種基于雙支感知的深度圖超分辨率重建網(wǎng)絡(luò)構(gòu)建方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010029063.5
• 申請(qǐng)日: 2020-01-12
• 公開（公告）號(hào): CN111275618B
• 公開（公告）日: 2023-09-29
• 發(fā)明（設(shè)計(jì)）人: 曹旗;楊宇翔;高明煜;董哲康;何志偉;曾毓
• 申請(qǐng)（專利權(quán)）人: 杭州電子科技大學(xué)
• 主分類號(hào): G06T3/40
• 分類號(hào): G06T3/40;G06N3/0464
• 代理公司: 杭州君度專利代理事務(wù)所(特殊普通合伙) 33240
• 代理人: 楊舟濤

1.一種基于雙支感知的深度圖超分辨率重建網(wǎng)絡(luò)構(gòu)建方法，其特征在于該方法的具體步驟是：

步驟(1)：利用RGB-D相機(jī)獲取同場(chǎng)景彩色圖像和深度圖像

使用RGB-D相機(jī)得到一張低分辨率深度圖像I_depth其分辨率為M*N，和一張相同視角下的高分辨率彩色圖像I_color其分辨率為rM*rN，其中r為倍率，M和N分別為圖像的高和寬；對(duì)低分辨率的深度圖像I_depth進(jìn)行雙三次上采樣操作放大至rM*rN，獲得了初始的低質(zhì)量高分辨率深度圖像并把彩色圖像I_color轉(zhuǎn)為YCbCr色彩空間，并取Y通道圖像得到

步驟(2)：基于卷積神經(jīng)網(wǎng)絡(luò)的雙支圖像特征提取結(jié)構(gòu)構(gòu)建，在圖像特征提取階段兩支結(jié)構(gòu)相同，每一支在特征提取的階段由七層卷積核大小為3*3的卷積層，雙支之間設(shè)有五個(gè)雙支通道感知模塊和五個(gè)雙支空間感知模塊，這樣得到深度圖像特征與彩色圖像特征交叉感知階段部分；

(a)和首先各自通過各支的兩層卷積核大小為3*3卷積層得到初始的特征圖和

(b)雙支感知結(jié)構(gòu)構(gòu)建，然后各自經(jīng)過五層卷積核大小為3*3卷積層提取并精細(xì)化特征，這五層卷積層，每層后面都帶有一個(gè)雙支通道感知模塊和一個(gè)雙支空間感知模塊，五層卷積層和五個(gè)雙支通道感知模塊和五個(gè)雙支空間感知模塊組成五級(jí)雙支感知結(jié)構(gòu)，輸入深度特征圖為X_d-1，彩色特征圖為X_c-1，每級(jí)的雙支感知結(jié)構(gòu)的計(jì)算步驟如下：

①

首先將深度特征圖為X_d-1∈R^B×C×H×W，彩色特征圖為X_c-1∈R^B×C×H×W各自經(jīng)過一層卷積核大小為3*3的卷積層之后通過激活層得到各種的特征圖R_d∈R^B×C×H×W和R_c∈R^B×C×H×W；其中σ(·)代表Rectified?Linear?Unit激活層，和為卷積核大小為3*3的卷積層權(quán)值，其上標(biāo)表示該卷積層屬于哪一支，d為深度圖像一支，c為彩色圖像一支，下標(biāo)表示卷積核大小；

②

R'_d＝M_Channel*R_d????????????????????????????????????????????????(3)

R′_c＝M_Channel*R_c????????????????????????????????????????????????(4)

將特征圖R_d和R_c拼接在一起，輸入到雙支通道感知模塊中得到通道權(quán)重M_Channel，并分別與特征圖R_d和R_c做一次元素相乘得到雙支通道感知后的特征圖R'_d∈R^B×C×H×W和R′_c∈R^B×C×H×W；其中，雙支通道感知模塊權(quán)重M_Channel的計(jì)算方式如下：

將特征圖R_d和R_c拼接在一起，分別沿著空間維度進(jìn)行max-pooled和average-pooled得到和上標(biāo)表示處于雙支通道感知階段；

然后和輸入兩層全連接層，得到和其中ω₀∈R^B×2C/r×2C和ω₁∈R^B×C×2C/r分別表示兩層全連接層的權(quán)重,σ(·)代表RectifiedLinear?Unit激活層；

最后，使用Sigmod函數(shù)對(duì)和相加得到的和進(jìn)行非線性映射，得到雙支通道感知模塊權(quán)重M_Channel；

③

R″_d＝M_Spatial*R'_d????????????????????????????????????????????????(10)

R″_c＝M_Spatial*R′_c?????????????????(11)

將雙支通道感知之后的特征圖R'_d和特征圖R′_c拼接在一起，輸入到雙支空間感知模塊中得到通道權(quán)重M_Spatial，并分別與特征圖R′_d和R′_c做一次元素相乘得到雙支通道感知后的特征圖R″_d∈R^B×C×H×W和R″_c∈R^B×C×H×W；其中，雙支空間感知模塊權(quán)重M_Spatial的計(jì)算方式如下：

將特征圖R′_d和R′_c拼接在一起，分別沿著通道維度進(jìn)行max-pooled和average-pooled得到和上標(biāo)表示處于雙支空間感知階段；

然后將特征圖和拼接在一起輸入一個(gè)卷積核大小為5*5的卷積層，得到卷積層輸出其中，ω₂是5*5卷積層的權(quán)重，σ(·)代表Rectified?LinearUnit激活層；

最后，將輸入Sigomd函數(shù)進(jìn)行非線性變換得到雙支空間感知模塊權(quán)重M_Spatial；

初始的特征圖和經(jīng)過五級(jí)雙支感知結(jié)構(gòu)之后，得到精細(xì)化的深度圖像的特征圖和Y通道的特征圖

步驟(3)：特征融合網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)建

特征融合引導(dǎo)階段的網(wǎng)絡(luò)由一個(gè)特征圖像拼接操作、六層卷積核大小為3*3的卷積層構(gòu)成，該階段的每個(gè)卷積層之后都緊連一個(gè)Rectified?Linear?Unit激活層；

將深度圖像的特征圖和Y通道特征圖首先通過拼接操作得到初始融合特征圖然后經(jīng)過六層卷積層進(jìn)行細(xì)化融合，利用網(wǎng)絡(luò)學(xué)習(xí)中有用的邊緣部分，使彩色圖像充分地起到引導(dǎo)作用，完成了特征融合引導(dǎo)的構(gòu)造，得到了融合特征圖，記為

步驟(4)：殘差結(jié)構(gòu)構(gòu)建，重建高質(zhì)量高分辨率深度圖像

重建階段的卷積神經(jīng)網(wǎng)絡(luò)由一個(gè)卷積核大小為3*3的卷積層和一次殘差連接操作構(gòu)成；

通過卷積核大小為3*3的卷積層得到重建深度圖像的殘差輸出，記為最后將與進(jìn)行元素對(duì)應(yīng)相加，得到最終放大r倍的高分辨率高質(zhì)量深度圖像