[發(fā)明專利]全景視頻圖像融合方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201610270702.0
• 申請(qǐng)日: 2016-04-27
• 公開(kāi)（公告）號(hào): CN107317998A
• 公開(kāi)（公告）日: 2017-11-03
• 發(fā)明（設(shè)計(jì)）人: 陳卓
• 申請(qǐng)（專利權(quán)）人: 成都理想境界科技有限公司
• 主分類(lèi)號(hào): H04N7/18
• 分類(lèi)號(hào): H04N7/18;H04N5/232;G06T3/00
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺(jué)與圖像處理技術(shù)領(lǐng)域，尤其涉及一種全景視頻圖像融合方法及裝置。

背景技術(shù)

數(shù)字三維全景圖像，是通過(guò)相機(jī)捕捉整個(gè)環(huán)境場(chǎng)景的圖像信息，使用軟件進(jìn)行圖像的拼接整合，將平面圖像進(jìn)行處理得到的三維全景圖像。三維全景圖像能夠?qū)崿F(xiàn)把二維的平面圖像模擬成真實(shí)的三維空間，以達(dá)到模擬和再現(xiàn)真實(shí)環(huán)境場(chǎng)景的效果。

隨著計(jì)算機(jī)軟硬件技術(shù)的不斷發(fā)展，智能可穿戴設(shè)備日漸普及，頭戴式虛擬現(xiàn)實(shí)設(shè)備通過(guò)圖像顯示屏將虛擬的環(huán)境圖像展現(xiàn)在使用者眼前，為使用者營(yíng)造一種置身于虛擬環(huán)境中的體驗(yàn)。使用者佩戴頭戴式虛擬現(xiàn)實(shí)設(shè)備時(shí)，通過(guò)將使用者的視野范圍完全限定在圖像顯示屏的顯示范圍內(nèi)，能夠隔絕圖像顯示屏顯示范圍以外的環(huán)境圖像，從而讓使用者獲得沉浸于虛擬場(chǎng)景的體驗(yàn)。

通過(guò)多個(gè)攝像機(jī)拍攝高畫(huà)質(zhì)的全景視頻圖像，保留環(huán)境場(chǎng)景中更多的圖像細(xì)節(jié)，能夠讓使用者通過(guò)虛擬現(xiàn)實(shí)設(shè)備觀看全景視頻時(shí)獲得更加真實(shí)的沉浸感。在現(xiàn)有技術(shù)中，通過(guò)多個(gè)攝像機(jī)采集環(huán)境場(chǎng)景的全景視頻圖像時(shí)，相鄰攝像機(jī)獲取的圖像之間存在重疊區(qū)域，由于拍攝時(shí)間與角度差異，重疊區(qū)域通常存在色彩亮度及形變程度的差異。在對(duì)多個(gè)攝像機(jī)采集的圖像進(jìn)行拼接得全景圖像時(shí)，如果將重疊區(qū)域的圖像只進(jìn)行簡(jiǎn)單的疊加處理，將嚴(yán)重影響全景圖像的視覺(jué)效果。因此，如何使拼接融合后的圖像更加平滑自然、過(guò)渡清晰，有效地提高全景圖像拼接效果，是全景圖像拼接合成過(guò)程中亟待解決的技術(shù)問(wèn)題之一。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問(wèn)題在于全景圖像分辨率高，圖像信息量大，圖像拼接融合過(guò)程運(yùn)算復(fù)雜度高、耗時(shí)長(zhǎng)，在解碼播放過(guò)程中往往不能滿足實(shí)時(shí)性的要求，尤其在連續(xù)視頻圖像上的處理存在延遲的問(wèn)題。

在鑒于此，本發(fā)明一方面提供一種全景視頻圖像融合方法，包括以下步驟：預(yù)設(shè)多個(gè)攝像頭采集環(huán)境場(chǎng)景不同空間角度的視頻圖像，建立所述環(huán)境場(chǎng)景的空間球面模型；根據(jù)所述環(huán)境場(chǎng)景的空間球面模型，對(duì)所述多個(gè)攝像頭對(duì)應(yīng)的環(huán)境場(chǎng)景視頻圖像進(jìn)行拼接，得到所述環(huán)境場(chǎng)景空間球面模型對(duì)應(yīng)的球面紋理圖像；根據(jù)所述多個(gè)攝像頭的姿態(tài)矩陣，建立所述球面紋理圖像中的圖像像素點(diǎn)與所述攝像頭對(duì)應(yīng)的環(huán)境場(chǎng)景視頻圖像中的圖像像素點(diǎn)之間的關(guān)聯(lián)映射；根據(jù)所述關(guān)聯(lián)映射，對(duì)所述球面紋理圖像中符合圖像融合條件的圖像像素點(diǎn)進(jìn)行圖像融合。

優(yōu)選地，所述預(yù)設(shè)多個(gè)攝像頭采集環(huán)境場(chǎng)景不同空間角度的視頻圖像，建立所述環(huán)境場(chǎng)景的空間球面模型的步驟，具體為：所述多個(gè)攝像頭設(shè)置于球狀設(shè)備表面，所述每個(gè)攝像頭采集所述環(huán)境場(chǎng)景預(yù)設(shè)空間角度范圍的視頻圖像，所述多個(gè)攝像頭采集的環(huán)境場(chǎng)景視頻圖像覆蓋所述環(huán)境場(chǎng)景的空間全景；以所述球狀設(shè)備的球心為坐標(biāo)原點(diǎn)構(gòu)建笛卡爾坐標(biāo)系，得到所述環(huán)境場(chǎng)景的空間球面模型。

優(yōu)選地，所述預(yù)設(shè)多個(gè)攝像頭采集環(huán)境場(chǎng)景不同空間角度的視頻圖像，建立所述環(huán)境場(chǎng)景的空間球面模型的步驟，還包括：根據(jù)姿態(tài)估計(jì)算法，確定所述多個(gè)攝像頭在所述笛卡爾坐標(biāo)系中的姿態(tài)，得到所述多個(gè)攝像頭的姿態(tài)矩陣。

優(yōu)選地，所述根據(jù)所述環(huán)境場(chǎng)景的空間球面模型，對(duì)所述多個(gè)攝像頭對(duì)應(yīng)的環(huán)境場(chǎng)景視頻圖像進(jìn)行拼接，得到所述環(huán)境場(chǎng)景空間球面模型對(duì)應(yīng)的球面紋理圖像的步驟，還包括：建立所述環(huán)境場(chǎng)景空間球面模型的經(jīng)緯度坐標(biāo)系，確定所述球面紋理圖像中的圖像像素點(diǎn)在所述經(jīng)緯度坐標(biāo)系中的坐標(biāo)。

優(yōu)選地，所述根據(jù)所述多個(gè)攝像頭的姿態(tài)矩陣，建立所述球面紋理圖像中的圖像像素點(diǎn)與所述攝像頭對(duì)應(yīng)的環(huán)境場(chǎng)景視頻圖像中的圖像像素點(diǎn)之間的關(guān)聯(lián)映射的步驟，具體為：根據(jù)所述多個(gè)攝像頭的姿態(tài)矩陣，建立所述球面紋理圖像中的圖像像素點(diǎn)的經(jīng)緯度坐標(biāo)與所述至少一個(gè)攝像頭對(duì)應(yīng)的視頻圖像中的圖像像素點(diǎn)的坐標(biāo)之間的關(guān)聯(lián)映射。

優(yōu)選地，所述根據(jù)所述關(guān)聯(lián)映射，對(duì)所述球面紋理圖像中符合圖像融合條件的圖像像素點(diǎn)進(jìn)行圖像融合的步驟，具體為：根據(jù)所述關(guān)聯(lián)映射，獲取所述球面紋理圖像中符合圖像融合條件的圖像像素點(diǎn)，所述球面紋理圖像中符合圖像融合條件的圖像像素點(diǎn)的經(jīng)緯度坐標(biāo)分別與所述兩個(gè)或兩個(gè)以上攝像頭對(duì)應(yīng) 的環(huán)境場(chǎng)景視頻圖像中的圖像像素點(diǎn)坐標(biāo)存在關(guān)聯(lián)映射；根據(jù)與所述球面紋理圖像中符合圖像融合條件的圖像像素點(diǎn)存在關(guān)聯(lián)映射的所述兩個(gè)或兩個(gè)以上攝像頭對(duì)應(yīng)的環(huán)境場(chǎng)景視頻圖像中的圖像像素點(diǎn)，對(duì)所述球面紋理圖像中符合圖像融合條件的圖像像素點(diǎn)進(jìn)行圖像融合。