[發(fā)明專利]一種視點合成技術(shù)進行立體校正的方法

有效

• 申請?zhí)枺?/td>: 202110386736.7
• 申請日: 2021-04-09
• 公開（公告）號: CN113077401B
• 公開（公告）日: 2022-06-24
• 發(fā)明（設(shè)計）人: 李銘;杜歆
• 申請（專利權(quán)）人: 浙江大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T7/00;G06K9/62;G06N3/04;G06V10/774;G06V10/82
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 邱啟旺

1.一種視點合成技術(shù)進行立體校正的方法，其特征在于，包括以下步驟：

(1)通過對立體視頻進行幀提取，構(gòu)建立體圖像訓練數(shù)據(jù)集；

(2)構(gòu)建并訓練未校正立體圖像視差估計網(wǎng)絡(luò)，并利用訓練后的未校正立體圖像視差估計網(wǎng)絡(luò)計算左視圖IL的水平視差圖D_Lh和垂直視差圖D_Lv，以及右視圖IR的水平視差圖D_Rh和垂直視差圖D_Rv；

(3)利用左右視圖的水平和垂直視差圖D_Lh、D_Rh、D_Lv、D_Rv以及左右視圖IL、IR，做像素映射，得到待修復的虛擬右視圖I_hole；

(4)構(gòu)建并訓練基于參考視圖的圖像修復網(wǎng)絡(luò)，并利用訓練后的基于參考視圖的圖像修復網(wǎng)絡(luò)生成最終修復后的虛擬右視圖I_pred；左視圖IL和修復后的虛擬右視圖I_pred即為校正結(jié)果；

所述的步驟(4)中構(gòu)建的基于參考視圖的圖像修復網(wǎng)絡(luò)由編碼器、中間卷積層和解碼器組成，其中編碼器中包含了指導模塊引入指導特征；編碼器首先由四個卷積核大小分別為7x7、4x4、4x4、3x3，步長分別為2、2、2、2，輸出通道數(shù)分別為64、128、256、256的卷積層對待修復的虛擬右視圖I_hole輸入的待修復圖像和空洞模板M合并后的向量提取輸入圖像特征F_i；原始左右視圖IL、IR作為參考視圖，分別用估計得到的左圖水平視差D_Lh和右圖垂直視差D_Rv通過像素映射從左右視點映射到合成視點位置，再分別與空洞模板M合并，由四個卷積層的卷積核大小分別為7x7、4x4、4x4、3x3，步長分別為2、2、2、2，輸出通道數(shù)分別為64、128、256、256，通過權(quán)值共享的方式提取參考圖像特征；四個卷積層從左右視圖中獲得左右參考圖像特征F_l1，F(xiàn)_l2，F(xiàn)_l3，F(xiàn)_l4和F_r1，F(xiàn)_r2，F(xiàn)_r3，F(xiàn)_r4；隨后參考圖像特征F_l4和輸入圖像特征F_i進行通道合并后經(jīng)過三個卷積核為3x3，輸出通道為256，128，1的卷積層，在最后一個卷積層后緊接著一個sigmoid函數(shù)生成單通道的左注意力特征圖F_la，參考特征F_t4和F_i進行通道合并后經(jīng)過同樣的三個卷積核為3x3，輸出通道為256，128，1的卷積層，接著一個sigmoid函數(shù)生成單通道的右注意力特征圖F_ra；F_la與F_l4相乘，F(xiàn)_ra與F_r4相乘后相加獲得指導特征F_guide；獲得的指導特征F_guide和輸入圖像特征F_i合并后經(jīng)過一個輸出通道為512，卷積核大小為4x4，步長為2的卷積層得到圖像深層編碼特征F₅；

中間卷積層由三個輸出通道為512的4x4卷積層構(gòu)成，由圖像深層編碼特征F₅得到深度融合特征F_dec5；

解碼器由五個解卷積層構(gòu)成；通過殘差連接將F₅與F_dec5合并，經(jīng)過一個卷積核大小為3x3，輸出通道為256的解卷積層后得到解卷積特征F_dec4；F_dec4，F(xiàn)_l4，F(xiàn)_r4合并后由一個卷積核大小為4x4，輸出通道為128的解卷積層得到解卷積特征F_dec3；F_dec3，F(xiàn)_l3，F(xiàn)_r3合并后由一個卷積核大小為4x4，輸出通道為128的解卷積層得到解卷積特征F_dec2；F_dec2，F(xiàn)_l2，F(xiàn)_r2合并后由一個卷積核大小為4x4，輸出通道為64的解卷積層得到解卷積特征F_dec1；F_dec1，F(xiàn)_l1，F(xiàn)_r1合并后由一個卷積核大小為4x4，輸出通道為3的解卷積層得到I_pred，即修復后的虛擬右視圖。