[發(fā)明專利]一種全局-局部自適應(yīng)優(yōu)化的全景光場拼接方法

在審

• 申請?zhí)枺?/td>: 202011438515.1
• 申請日: 2020-12-07
• 公開（公告）號: CN112465704A
• 公開（公告）日: 2021-03-09
• 發(fā)明（設(shè)計）人: 金欣;周思瑤
• 申請（專利權(quán)）人: 清華大學(xué)深圳國際研究生院
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 深圳新創(chuàng)友知識產(chǎn)權(quán)代理有限公司 44223
• 代理人: 方艷平

本發(fā)明公開了一種全局?局部自適應(yīng)優(yōu)化的全景光場拼接方法，包括：輸入多個待拼接光場；提取、匹配和篩選待拼接光場的特征點(diǎn)，以計算得到所有待拼接光場的全局單應(yīng)性變換矩陣；將多個待拼接光場分別進(jìn)行4D網(wǎng)格化，根據(jù)所述全局單應(yīng)性變換矩陣評價每個網(wǎng)格的全局配準(zhǔn)精度，計算全局配準(zhǔn)精度低于預(yù)設(shè)閾值的網(wǎng)格的局部單應(yīng)性變換矩陣，并根據(jù)所述局部單應(yīng)性變換矩陣評價對應(yīng)的網(wǎng)格的局部配準(zhǔn)精度；比較全局配準(zhǔn)精度和局部配準(zhǔn)精度，對于每個網(wǎng)格取精度最高的單應(yīng)性變換矩陣，融合光場，得到拼接結(jié)果。本發(fā)明保證了光場整體和細(xì)節(jié)拼接結(jié)果均最為準(zhǔn)確，從而實(shí)現(xiàn)精確的多光場全景拼接方法。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機(jī)視覺與數(shù)字圖像處理領(lǐng)域，尤其涉及一種全局-局部自適應(yīng)優(yōu)化的全景光場拼接方法。

背景技術(shù)

光場相機(jī)主鏡頭和傳感器之間的微透鏡陣列可以有效捕捉光線信息，在一次拍攝中同時記錄光線的方向和強(qiáng)度信息。因此，光場可以準(zhǔn)確地再現(xiàn)場景中的立體視差、運(yùn)動視差、反射、折射、重聚焦等效果，為用戶提供極具真實(shí)感的沉浸式體驗(yàn)，給虛擬現(xiàn)實(shí)領(lǐng)域的研究提供極大助力。然而，受光場相機(jī)光學(xué)結(jié)構(gòu)的限制，其視場角較小，為了從光場的巨大潛力中獲益，必須擴(kuò)展光場的視場角。全景光場拼接算法不依賴于特殊光學(xué)設(shè)計，也不需要復(fù)雜的采集方式，應(yīng)用性較強(qiáng)。但是現(xiàn)有的全景光場拼接算法通常存在視差所帶來的錯位和重影問題，導(dǎo)致拼接結(jié)果不夠準(zhǔn)確。

以上背景技術(shù)內(nèi)容的公開僅用于輔助理解本發(fā)明的構(gòu)思及技術(shù)方案，其并不必然屬于本專利申請的現(xiàn)有技術(shù)，在沒有明確的證據(jù)表明上述內(nèi)容在本專利申請的申請日已經(jīng)公開的情況下，上述背景技術(shù)不應(yīng)當(dāng)用于評價本申請的新穎性和創(chuàng)造性。

發(fā)明內(nèi)容

為解決上述技術(shù)問題，本發(fā)明提出一種全局-局部自適應(yīng)優(yōu)化的全景光場拼接方法，保證了光場整體和細(xì)節(jié)拼接結(jié)果均最為準(zhǔn)確，從而實(shí)現(xiàn)精確的多光場全景拼接方法。

為了達(dá)到上述目的，本發(fā)明采用以下技術(shù)方案：

本發(fā)明的一個實(shí)施例公開了一種全局-局部自適應(yīng)優(yōu)化的全景光場拼接方法，包括以下步驟：

S1：輸入多個待拼接光場；

S2：提取、匹配和篩選待拼接光場的特征點(diǎn)，以計算得到所有待拼接光場的全局單應(yīng)性變換矩陣；

S3：將多個待拼接光場分別進(jìn)行4D網(wǎng)格化，根據(jù)所述全局單應(yīng)性變換矩陣評價每個網(wǎng)格的全局配準(zhǔn)精度，計算全局配準(zhǔn)精度低于預(yù)設(shè)閾值的網(wǎng)格的局部單應(yīng)性變換矩陣，并根據(jù)所述局部單應(yīng)性變換矩陣評價對應(yīng)的網(wǎng)格的局部配準(zhǔn)精度；

S4：比較全局配準(zhǔn)精度和局部配準(zhǔn)精度，對于每個網(wǎng)格取精度最高的單應(yīng)性變換矩陣，融合光場，得到拼接結(jié)果。

優(yōu)選地，步驟S1具體還包括：解碼和預(yù)處理多個待拼接光場以得到光場子孔徑圖像陣列：

SAI_i(u₀,v₀)＝{L_i(u,v,s,t)|u＝u₀,v＝v₀}

其中SAI_i(u₀,v₀)是光場在視角(u₀,v₀)處的子孔徑圖像，待拼接光場L_i(u,v,s,t)解碼后得到光場子孔徑圖像陣列{SAI_i(u₀,v₀)|u₀∈[1,U],v₀∈[1,V]}，U、V是光場子孔徑圖像陣列的行數(shù)和列數(shù)，(u,v)為角度域坐標(biāo)，(s,t)為空間域坐標(biāo)。

優(yōu)選地，步驟S1具體還包括：將多個待拼接光場投影至雙球面坐標(biāo)系，其中雙平面坐標(biāo)和雙球面坐標(biāo)之間的轉(zhuǎn)換關(guān)系為：