[發(fā)明專(zhuān)利]一種集成成像三維重聚焦再現(xiàn)圖像黑邊的消除方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710829635.6
• 申請(qǐng)日: 2017-09-15
• 公開(kāi)（公告）號(hào): CN107610181B
• 公開(kāi)（公告）日: 2020-06-19
• 發(fā)明（設(shè)計(jì)）人: 王瓊?cè)A;邢妍;羅令;趙敏
• 申請(qǐng)（專(zhuān)利權(quán)）人: 四川大學(xué)
• 主分類(lèi)號(hào): G06T7/80
• 分類(lèi)號(hào): G06T7/80;G06T7/55;G06T5/50;H04N13/246
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

本發(fā)明提出一種集成成像三維重聚焦再現(xiàn)圖像黑邊的消除方法，其包括攝像機(jī)陣列標(biāo)定參數(shù)的計(jì)算、拍攝視差圖像的校正以及三維場(chǎng)景的重聚焦再現(xiàn)三個(gè)過(guò)程。該方法通過(guò)計(jì)算目標(biāo)聚焦平面對(duì)應(yīng)的攝像機(jī)陣列標(biāo)定參數(shù)，構(gòu)建視差圖像校正算法，得到對(duì)應(yīng)目標(biāo)聚焦平面的無(wú)黑邊的校正視差圖像，進(jìn)而實(shí)現(xiàn)了高質(zhì)量的集成成像三維重聚焦再現(xiàn)，同時(shí)該方法具備標(biāo)定簡(jiǎn)單及易于實(shí)現(xiàn)的優(yōu)點(diǎn)。

技術(shù)領(lǐng)域

本發(fā)明涉及集成成像技術(shù)，特別涉及一種集成成像三維重聚焦再現(xiàn)圖像黑邊的消除方法。

背景技術(shù)

集成成像是一種裸眼三維技術(shù)，分為記錄和再現(xiàn)兩個(gè)過(guò)程。記錄過(guò)程中，采用攝像機(jī)陣列對(duì)三維場(chǎng)景進(jìn)行拍攝，記錄場(chǎng)景的視差信息，并通過(guò)攝像機(jī)標(biāo)定確定記錄中心深度平面位置。再現(xiàn)過(guò)程中，將獲取的視差信息合成微圖像陣列，通過(guò)前方對(duì)應(yīng)的微透鏡陣列成像，在觀看空間重建出三維場(chǎng)景。再現(xiàn)中心深度平面是微圖像陣列經(jīng)過(guò)對(duì)應(yīng)微透鏡陣列在成像空間聚焦的平面，其由記錄中心深度平面確定，并與記錄中心深度平面重合。

傳統(tǒng)的集成成像三維重聚焦再現(xiàn)通過(guò)對(duì)校正的視差圖像進(jìn)行調(diào)節(jié)，改變?cè)佻F(xiàn)中心深度平面位置，實(shí)現(xiàn)對(duì)應(yīng)深度三維物體的聚焦再現(xiàn)。但是，這種方案需要對(duì)視差圖像進(jìn)行平移裁剪，導(dǎo)致調(diào)節(jié)后的視差圖像出現(xiàn)黑邊區(qū)域。隨著目標(biāo)聚焦平面與原始聚焦平面間距的不斷增大，黑邊問(wèn)題越發(fā)嚴(yán)重，從而極大地影響了三維場(chǎng)景的重建效果。

發(fā)明內(nèi)容

本發(fā)明旨在實(shí)現(xiàn)高質(zhì)量的集成成像三維重聚焦再現(xiàn)。

為達(dá)到上述目的，本發(fā)明提出一種集成成像三維重聚焦再現(xiàn)圖像黑邊的消除方法。所述方法根據(jù)目標(biāo)聚焦平面深度信息，結(jié)合攝像機(jī)陣列標(biāo)定原理，計(jì)算目標(biāo)聚焦平面對(duì)應(yīng)的攝像機(jī)陣列標(biāo)定參數(shù)。利用獲得的標(biāo)定參數(shù)，對(duì)集成成像拍攝得到的視差圖像進(jìn)行校正，實(shí)現(xiàn)相應(yīng)深度的無(wú)黑邊的集成成像聚焦再現(xiàn)。所述方法可由集成成像攝像機(jī)陣列、三維場(chǎng)景和棋盤(pán)格標(biāo)定板實(shí)現(xiàn)。

本發(fā)明所提方法具體包括攝像機(jī)陣列標(biāo)定參數(shù)的計(jì)算、拍攝視差圖像的校正以及三維場(chǎng)景的重聚焦再現(xiàn)三個(gè)過(guò)程。攝像機(jī)陣列標(biāo)定參數(shù)的計(jì)算過(guò)程：對(duì)拍攝得到的聚焦深度為Z₀的棋盤(pán)格標(biāo)定板圖像進(jìn)行檢測(cè)，獲取棋盤(pán)格標(biāo)定板角點(diǎn)的像素坐標(biāo)，同時(shí)根據(jù)目標(biāo)聚焦平面與初始聚焦平面的位置關(guān)系，計(jì)算每個(gè)攝像機(jī)對(duì)應(yīng)的偏移量，進(jìn)而計(jì)算出對(duì)應(yīng)的標(biāo)定參數(shù)，其中標(biāo)定參數(shù)指單應(yīng)性變換矩陣；拍攝視差圖像的校正過(guò)程：利用計(jì)算得到的攝像機(jī)陣列標(biāo)定參數(shù)，對(duì)拍攝獲得的聚焦深度為Z₀的視差圖像序列進(jìn)行單應(yīng)性變換，得到聚焦深度為Z₁的校正視差圖像序列；三維場(chǎng)景的重聚焦再現(xiàn)過(guò)程：利用調(diào)節(jié)后的校正視差圖像序列，合成無(wú)黑邊的聚焦深度為Z₁的微圖像陣列，進(jìn)行對(duì)應(yīng)深度的三維聚焦再現(xiàn)。

所述攝像機(jī)陣列標(biāo)定參數(shù)的計(jì)算過(guò)程，首先，獲得棋盤(pán)格標(biāo)定板角點(diǎn)的像素坐標(biāo)。攝像機(jī)陣列中，攝像機(jī)數(shù)目為M×N，相鄰攝像機(jī)以間距ΔD進(jìn)行排列。攝像機(jī)陣列對(duì)位于記錄中心深度平面位置的棋盤(pán)格標(biāo)定板進(jìn)行拍攝，獲得對(duì)應(yīng)的M×N幅分辨率為S_p×R_p的標(biāo)定視差圖像。以亞像素精度尋找每幅標(biāo)定視差圖像上的棋盤(pán)格角點(diǎn)位置，在順時(shí)針?lè)较蛏汐@得邊緣四個(gè)角點(diǎn)的像素坐標(biāo)(x_t,y_t)_m,n，t＝1,2,3,4，其中，m和n分別為攝像機(jī)陣列中第m列、第n行攝像機(jī)對(duì)應(yīng)的索引編號(hào)，m∈{1,2,3,…,M}，n∈{1,2,3,…,N}。然后，根據(jù)目標(biāo)聚焦平面與初始聚焦平面的位置關(guān)系以及每個(gè)攝像機(jī)在攝像機(jī)陣列中的相對(duì)位置，計(jì)算每個(gè)攝像機(jī)對(duì)應(yīng)的像素偏移量。在集成成像再現(xiàn)過(guò)程中，以微透鏡陣列中心為原點(diǎn)，設(shè)定指向觀看者一側(cè)的法線(xiàn)方向?yàn)閦軸正方向，初始聚焦平面即初始中心深度平面位于Z₀處，目標(biāo)聚焦平面處于Z₁位置。拍攝過(guò)程攝像機(jī)陣列投影中心所在平面與記錄中心深度平面的距離為D。則第m列、第n行攝像機(jī)對(duì)應(yīng)的像素偏移量Δs_m,n滿(mǎn)足：