[發(fā)明專利]一種虛擬視點(diǎn)繪制方法

有效

• 申請?zhí)枺?/td>: 201310205017.6
• 申請日: 2013-05-28
• 公開（公告）號: CN103345736A
• 公開（公告）日: 2013-10-09
• 發(fā)明（設(shè)計(jì)）人: 蘇育挺;劉安安;馬玉龍
• 申請（專利權(quán)）人: 天津大學(xué)
• 主分類號: G06T7/00
• 分類號: G06T7/00
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所 12201
• 代理人: 溫國林

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理及基于雙目視覺的立體成像領(lǐng)域，特別涉及一種虛擬視點(diǎn)繪制方法。

背景技術(shù)

虛擬視點(diǎn)繪制技術(shù)是指通過兩個或多個攝像機(jī)視點(diǎn)上所得到的同一三維場景的圖像，計(jì)算出本不存在的虛擬攝像機(jī)視點(diǎn)的場景圖像。它涉及計(jì)算機(jī)圖形學(xué)、計(jì)算機(jī)視覺和數(shù)字圖像處理等領(lǐng)域。

現(xiàn)有技術(shù)中主要通過基于圖像的繪制（Image?Based?Rendering，IBR）實(shí)現(xiàn)虛擬視點(diǎn)繪制技術(shù)。不同的IBR技術(shù)可理解為全光函數(shù)（Plenoptic?Function）在一定條件下的具體表現(xiàn)，IBR技術(shù)包括：使用隱含幾何信息的IBR方法。

使用隱含幾何信息的IBR方法只需要很少的輸入圖像，可以在一定誤差條件下，以較小的代價(jià)來快速生成場景畫面，同時所生成的圖像質(zhì)量很高，符合實(shí)時虛擬視點(diǎn)重現(xiàn)的要求。

發(fā)明人在實(shí)現(xiàn)本發(fā)明的過程中，發(fā)現(xiàn)現(xiàn)有技術(shù)中至少存在以下缺點(diǎn)和不足：

現(xiàn)有的虛擬視點(diǎn)繪制方法中一部分無法獲得高質(zhì)量的虛擬視點(diǎn)圖像，另一部分則需要在采集圖像前對攝像機(jī)進(jìn)行費(fèi)時的標(biāo)定且需要同時獲得深度圖像，這些方法無法保證實(shí)時性，在寬基線情況下工作不夠理想，使用范圍較窄。

發(fā)明內(nèi)容

本發(fā)明提供了一種虛擬視點(diǎn)繪制方法，本發(fā)明提高了實(shí)時性，擴(kuò)大了應(yīng)用范圍，詳見下文描述：

一種虛擬視點(diǎn)繪制方法，所述方法包括：

獲取攝像機(jī)所拍攝的一組左右視點(diǎn)圖像，對該組視點(diǎn)圖像進(jìn)行SIFT特征提取，生成特征點(diǎn)和特征向量；

通過所述特征向量對左右視點(diǎn)圖像的特征點(diǎn)進(jìn)行基于歐式距離的特征匹配，獲得匹配點(diǎn)對集合；

對所述匹配點(diǎn)對集合使用隨機(jī)抽樣一致法和八點(diǎn)法計(jì)算基礎(chǔ)矩陣；通過所述基礎(chǔ)矩陣使用單應(yīng)性分解計(jì)算左右視點(diǎn)圖像的單應(yīng)性矩陣，并使用對應(yīng)的單應(yīng)性矩陣對左右視點(diǎn)圖像進(jìn)行校正；

對校正后的左右視點(diǎn)圖像進(jìn)行立體匹配，插值合成中間視點(diǎn)圖像；對合成的中間視點(diǎn)圖像進(jìn)行后置變換，獲得虛擬視點(diǎn)圖像；對所述虛擬視點(diǎn)圖像進(jìn)行空洞填充，輸出最終虛擬視點(diǎn)圖像。

所述對所述匹配點(diǎn)對集合使用隨機(jī)抽樣一致法和八點(diǎn)法計(jì)算基礎(chǔ)矩陣的過程具體為：

首先從所述匹配點(diǎn)對集合中隨機(jī)選擇8個匹配點(diǎn)對，將所述8個匹配點(diǎn)對作為隨機(jī)樣本集，使用所述隨機(jī)樣本集通過八點(diǎn)法計(jì)算基礎(chǔ)矩陣參數(shù)，建立一個基礎(chǔ)矩陣候選模型；設(shè)立一個對極距離閾值，計(jì)算所有匹配點(diǎn)對相對于模型的對極距離，所述對極距離小于所述對極距離閾值的匹配點(diǎn)對符合所述基礎(chǔ)矩陣候選模型，當(dāng)符合所述基礎(chǔ)矩陣候選模型后匹配點(diǎn)對的數(shù)量大于給定的數(shù)量閾值時，所述基礎(chǔ)矩陣候選模型為要求解的基礎(chǔ)矩陣。

所述對校正后的左右視點(diǎn)圖像進(jìn)行立體匹配，插值合成中間視點(diǎn)圖像的過程具體為：

將所述校正后的左右視點(diǎn)圖像中每一行分成若干個由相同亮度的連續(xù)像素點(diǎn)組成的等值段，然后在同一行的等值段中根據(jù)亮度的相似性建立對應(yīng)關(guān)系，根據(jù)等值段對應(yīng)關(guān)系及選擇的虛擬投影中心在左右兩個投影中心連線上的位置，使用線性插值計(jì)算出校正后的左右視點(diǎn)圖像上對應(yīng)點(diǎn)在中間視點(diǎn)圖像上位置，并賦予亮度值。

所述對合成的中間視點(diǎn)圖像進(jìn)行后置變換，獲得虛擬視點(diǎn)圖像的過程具體為：

根據(jù)需求來設(shè)定虛擬視點(diǎn)圖像的位置和角度,計(jì)算從合成的中間視點(diǎn)圖像所在位置和角度處變換到設(shè)定的虛擬視點(diǎn)圖像處的單應(yīng)性矩陣,使用單應(yīng)性矩陣的逆矩陣計(jì)算出與虛擬視點(diǎn)圖像上的點(diǎn)對應(yīng)的中間視點(diǎn)圖像上的點(diǎn),如果該中間視點(diǎn)圖像上的點(diǎn)是空洞,則虛擬視點(diǎn)圖像上與其對應(yīng)的點(diǎn)也是空洞；如果該中間視點(diǎn)圖像上的點(diǎn)不是空洞,則將該點(diǎn)的像素值賦給虛擬視點(diǎn)圖像上與其對應(yīng)的點(diǎn)。

本發(fā)明提供的技術(shù)方案的有益效果是：本方法只需獲取同一三維場景下的兩個不同視點(diǎn)的圖像且無需獲得深度圖，采集圖像前不需要對攝像機(jī)進(jìn)行費(fèi)時的標(biāo)定，整個過程全自動，故適用范圍廣，應(yīng)用性強(qiáng)。本發(fā)明綜合SIFT特征提取、SIFT匹配、基礎(chǔ)矩陣、圖像校正、立體匹配、插值、后置變換以及空洞填充等，提出一套完整的實(shí)時虛擬視角繪制方法，提高了實(shí)時性，擴(kuò)大了應(yīng)用范圍，已制作成軟件用于實(shí)驗(yàn)與應(yīng)用。

附圖說明

圖1為本發(fā)明的基于視圖變形的實(shí)時虛擬視點(diǎn)繪制方法的流程；

圖2為對極幾何原理的示意圖；

圖3為視圖變形中圖像校正、立體匹配、后置變換三個步驟的示意圖；

圖4為第一對左右視點(diǎn)圖像；

圖5為通過第一對左右視點(diǎn)圖像使用視圖插值方法合成的虛擬視點(diǎn)圖像；

圖6為通過第一對左右視點(diǎn)圖像使用本發(fā)明方法合成的虛擬視點(diǎn)圖像；