[發(fā)明專利]一種視點(diǎn)合成技術(shù)進(jìn)行立體校正的方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110386736.7
• 申請(qǐng)日: 2021-04-09
• 公開(kāi)（公告）號(hào): CN113077401B
• 公開(kāi)（公告）日: 2022-06-24
• 發(fā)明（設(shè)計(jì)）人: 李銘;杜歆
• 申請(qǐng)（專利權(quán)）人: 浙江大學(xué)
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00;G06T7/00;G06K9/62;G06N3/04;G06V10/774;G06V10/82
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 邱啟旺

本發(fā)明公開(kāi)了一種基于新型網(wǎng)絡(luò)的視點(diǎn)合成技術(shù)進(jìn)行立體校正的方法，在視點(diǎn)合成的實(shí)現(xiàn)立體圖像校正的流程中，未校正立體圖像視差估計(jì)網(wǎng)絡(luò)直接估計(jì)原始左右視圖的水平和垂直視差；基于參考視圖的圖像修復(fù)網(wǎng)絡(luò)，根據(jù)左右視圖的上下文信息進(jìn)行圖像空洞的修復(fù)，最終生成虛擬右視圖和原左視圖組成校正后圖像對(duì)。相較于傳統(tǒng)基于視點(diǎn)合成進(jìn)行校正的技術(shù)，本發(fā)明校正過(guò)程更加簡(jiǎn)單高效，合成圖像擁有最好的垂直視差消除性能，并能保證校正前后視差信息一致，擁有最好的視覺(jué)舒適度。

技術(shù)領(lǐng)域

本發(fā)明涉及一種圖像校正方法，尤其涉及一種視點(diǎn)合成技術(shù)進(jìn)行立體校正的方法。

背景技術(shù)

在雙目攝像機(jī)進(jìn)行3D圖像的拍攝時(shí)，由于支架形變、左右鏡頭內(nèi)部元件不一致等原因，使得拍攝出的圖像對(duì)常存在垂直視差，難以達(dá)到理想的極線平行狀態(tài)。低質(zhì)量的3D圖像會(huì)出現(xiàn)疲憊、頭疼、注意力難以集中等生理不舒適的癥狀。因此在實(shí)際應(yīng)用中，拍攝后的圖像都需要經(jīng)過(guò)后期處理來(lái)校正圖像。

常見(jiàn)的傳統(tǒng)校正方法通過(guò)對(duì)3D圖像的左右視圖分別施加投影變換，將外極點(diǎn)映射到無(wú)窮遠(yuǎn)，從而達(dá)到極線平行的狀態(tài)，然而這些方法不能兼顧校正前后水平視差的一致性，可能給圖像帶來(lái)嚴(yán)重的失真，且校正后的圖像需要進(jìn)行裁剪。

利用視點(diǎn)合成進(jìn)行立體圖像校正的方法通過(guò)將視點(diǎn)合成運(yùn)用到圖像校正中，以最大程度減少圖像失真，保留原立體圖像的深度信息，且不損失圖像分辨率。在利用視點(diǎn)合成的方法中包括了視差計(jì)算，像素映射和圖像修復(fù)三個(gè)模塊，其中視差計(jì)算的精度主要影響了垂直視差消除的性能，圖像修復(fù)算法影響了最終合成虛擬視圖的質(zhì)量。在傳統(tǒng)視點(diǎn)合成進(jìn)行校正的方法中，在這兩個(gè)關(guān)鍵步驟中采用了大量人工設(shè)計(jì)的特征和約束，在實(shí)際的應(yīng)用中僅對(duì)部分的圖像有良好的校正效果，缺乏足夠的魯棒性，最終合成的圖像質(zhì)量難以保證。

發(fā)明內(nèi)容

本發(fā)明的目的在于針對(duì)現(xiàn)有技術(shù)不足，提供一種能夠?qū)崿F(xiàn)立體圖像校正，且避免校正后圖像產(chǎn)生畸變和圖像質(zhì)量下降問(wèn)題的基于新型網(wǎng)絡(luò)的視點(diǎn)合成技術(shù)進(jìn)行立體校正的方法。本發(fā)明實(shí)現(xiàn)了高精度的視差估計(jì)和高質(zhì)量的圖像修復(fù)，從而提升了利用視點(diǎn)合成技術(shù)生成的虛擬視圖的真實(shí)性，使得最終成功校正立體圖像，擁有良好的視覺(jué)舒適度。

實(shí)現(xiàn)本發(fā)明目的的技術(shù)解決方案為：一種基于新型網(wǎng)絡(luò)的視點(diǎn)合成技術(shù)進(jìn)行立體校正的方法，包括以下步驟：

(1)通過(guò)對(duì)立體視頻進(jìn)行幀提取，構(gòu)建立體圖像訓(xùn)練數(shù)據(jù)集；

(2)構(gòu)建并訓(xùn)練未校正立體圖像視差估計(jì)網(wǎng)絡(luò)，并利用訓(xùn)練后的未校正立體圖像視差估計(jì)網(wǎng)絡(luò)計(jì)算左視圖IL的水平視差圖D_Lh和垂直視差圖D_Lv，以及右視圖IR的水平視差圖D_Rh和垂直視差圖D_Rv；

(3)利用左右視圖的水平和垂直視差圖D_Lh、D_Rh、D_Lv、D_Rv以及左右視圖IL、IR，做像素映射，得到待修復(fù)的虛擬右視圖I_hole；

(4)構(gòu)建并訓(xùn)練基于參考視圖的圖像修復(fù)網(wǎng)絡(luò)，并利用訓(xùn)練后的基于參考視圖的圖像修復(fù)網(wǎng)絡(luò)生成最終修復(fù)后的右視圖I_pred；左視圖IL和合成的右視圖I_pred即為校正結(jié)果。

進(jìn)一步地，所述的步驟(2)中構(gòu)建的未校正立體圖像視差估計(jì)網(wǎng)絡(luò)的結(jié)構(gòu)由權(quán)值共享的一對(duì)特征提取器模塊，以及6組級(jí)聯(lián)的局部視差估計(jì)模塊和全局視差估計(jì)模塊和一個(gè)上采樣函數(shù)構(gòu)成。