[發(fā)明專利]一種基于深度交互學(xué)習(xí)的立體圖像超分辨率重建方法

有效

• 申請?zhí)枺?/td>: 202011132474.3
• 申請日: 2020-10-21
• 公開（公告）號: CN112184555B
• 公開（公告）日: 2022-07-19
• 發(fā)明（設(shè)計(jì)）人: 雷建軍;張哲;范曉婷;劉娟;桑新柱;彭勃
• 申請（專利權(quán)）人: 天津大學(xué)
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所 12201
• 代理人: 李林娟

1.一種基于深度交互學(xué)習(xí)的立體圖像超分辨率重建方法，其特征在于，所述方法包括：

將輸入的左右視圖，分為左右兩支路通過空間特征提取到相應(yīng)的空間特征表達(dá)；

通過交互部分提取另一視點(diǎn)中的互補(bǔ)信息用于增強(qiáng)左右視圖的空間特征表達(dá)；

使用均方誤差損失函數(shù)、梯度損失函數(shù)和視差損失函數(shù)共同構(gòu)建多損失函數(shù)機(jī)制，用于提升立體圖像的超分辨率重建質(zhì)量；

訓(xùn)練基于深度交互學(xué)習(xí)的立體圖像超分辨率重建網(wǎng)絡(luò)；

其中，所述交互部分由串聯(lián)的一系列交互單元組成，每一個(gè)交互單元由四個(gè)門控組成，分別為濾波門、重置門、篩選門和更新門。

2.根據(jù)權(quán)利要求1所述的一種基于深度交互學(xué)習(xí)的立體圖像超分辨率重建方法，其特征在于，左右兩支路的空間特征提取中的卷積層共享參數(shù)。

3.根據(jù)權(quán)利要求1所述的一種基于深度交互學(xué)習(xí)的立體圖像超分辨率重建方法，其特征在于，所述濾波門用于減弱視點(diǎn)的空間不對齊，即濾波后的視點(diǎn)特征等于視點(diǎn)特征與卷積層的卷積。

4.根據(jù)權(quán)利要求1所述的一種基于深度交互學(xué)習(xí)的立體圖像超分辨率重建方法，其特征在于，所述重置門用于控制當(dāng)前視點(diǎn)對另一視點(diǎn)產(chǎn)生的影響，由一層卷積層和一層激活層組成；

左視點(diǎn)特征和右視點(diǎn)濾波后的特征級聯(lián)，通過重置門得到特征r，特征r和右視點(diǎn)濾波后的特征f_r'做點(diǎn)積計(jì)算得到候選集c。

5.根據(jù)權(quán)利要求4所述的一種基于深度交互學(xué)習(xí)的立體圖像超分辨率重建方法，其特征在于，所述篩選門用于對候選集c進(jìn)行篩選得到特征c'。

6.根據(jù)權(quán)利要求1所述的一種基于深度交互學(xué)習(xí)的立體圖像超分辨率重建方法，其特征在于，所述更新門用于判斷當(dāng)前視點(diǎn)的信息能否送入另一視點(diǎn)，獲取權(quán)重圖自適應(yīng)地融合左右視點(diǎn)的信息。

7.根據(jù)權(quán)利要求1所述的一種基于深度交互學(xué)習(xí)的立體圖像超分辨率重建方法，其特征在于，所述交互部分采用跳連接方式，將空間特征提取部分輸出的特征f_l和f_r與各視點(diǎn)對應(yīng)的交互特征相加。