[發(fā)明專利]基于虛擬視點合成繪制三維物體的方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201910164246.5
• 申請日: 2019-03-05
• 公開（公告）號: CN109769109A
• 公開（公告）日: 2019-05-17
• 發(fā)明（設(shè)計）人: 陳東岳;宋園園;常興亞
• 申請（專利權(quán)）人: 東北大學(xué)
• 主分類號: H04N13/20
• 分類號: H04N13/20;H04N13/204;H04N13/257;H04N13/271;H04N13/156;G06T17/00;G06T7/80
• 代理公司: 大連東方專利代理有限責任公司 21212
• 代理人: 李馨

本發(fā)明提供一種基于虛擬視點合成繪制三維物體的方法和系統(tǒng)，所述繪制三維物體的方法包括如下步驟：S1：對參考相機進行標定和配準；S2：選擇同一場景下包括左、右兩個角度的參考視點，使用參考相機分別采集參考視點左、右兩個角度的參考圖像；S3：預(yù)處理去除深度圖像中的無效點；S4：運用圖形三維變換技術(shù)將參考視點處的每一張參考圖像中的彩色圖像分別映射到虛擬視點處；S5：將左虛擬彩色圖像和右虛擬彩色圖像進行融合；S6：將參考圖像中的彩色圖像和虛擬圖像注冊到真實環(huán)境背景中完成繪制物體虛擬的三維圖像。本發(fā)明的技術(shù)方案解決了傳統(tǒng)建模的復(fù)雜性問題。

技術(shù)領(lǐng)域

本發(fā)明涉及虛擬視點重建技術(shù)領(lǐng)域，具體而言，尤其涉及一種基于虛擬視點合成繪制三維物體的方法和系統(tǒng)。

背景技術(shù)

混合現(xiàn)實(Mixed Reality，MR)實際上是虛擬現(xiàn)實(Virtual Reality，VR)和增強現(xiàn)實(Augmented Reality，AR)的一種結(jié)合。MR是先把真實的東西虛擬化，然后和真實世界疊加到一起，從而產(chǎn)生一個新的可視化環(huán)境，虛擬物體與真實世界可以在這種環(huán)境中共存，并實時互動。MR要實現(xiàn)真實的渲染，需要獲得一個物體或場景的全方位信息，對于某些大型場景實現(xiàn)起來比較困難。虛擬視點重建技術(shù)解決了這一問題，通過獲取少量的數(shù)據(jù)，在終端實現(xiàn)各個視點的數(shù)據(jù)合集。

虛擬視點重建技術(shù)，就是利用已知視點的圖像繪制出虛擬視點的圖像，該技術(shù)主要分為兩種：一種是基于模型的繪制技術(shù)(Model Based Rendering，MBR)，利用計算機圖形學(xué)，建立出三維場景模型，然后通過計算機著色投影和光照渲染等步驟，生成虛擬視點的圖像。但由于三維模型的精度通常較低且注冊場景環(huán)境光照復(fù)雜、不易控制，所以MBR成像不但計算速度慢、人工成本高且真實感并不理想；一種是基于圖像的繪制技術(shù)(Image BasedRendering，IBR)，基于已有的真實圖像序列生成虛擬視角效果，避免了復(fù)雜的幾何建模與計算，因此實現(xiàn)過程快速簡單，成像效果逼真，但在魯棒性以及對注冊環(huán)境的適應(yīng)性方面還有進一步提升的空間，根據(jù)繪制圖像時用到的三維幾何信息數(shù)據(jù)的多少，將IBR技術(shù)分為三種：不用幾何信息的IBR技術(shù)、使用隱式幾何信息的IBR技術(shù)、使用顯式幾何信息的IBR技術(shù)。

針對使用隱式幾何信息的IBR技術(shù)，現(xiàn)在通常使用三維重建技術(shù)來重構(gòu)一個真實的三維物體，該技術(shù)需要在計算機中真實地重建出物體表面的三維虛擬模型，所以需要對物體進行復(fù)雜的建模處理，三維物體景物模型建立好以后，雖然可以實現(xiàn)任意視點的顯示，但是在建模過程中也存在很多的問題。

第一個缺點是為了繪制出三維圖形景觀，需要根據(jù)基本圖形單元建立景物模型，并對模型進行數(shù)學(xué)描述，因此三維重建對象受限，在對平面體建模時效果好，但在對復(fù)雜實體模型重建時效果差，尤其是一些復(fù)雜曲面體。

第二個缺點是景物模型建立好以后，為了獲得真實場景般逼真的三維模型，還需要計算模型中所有物體的色彩，確定光照條件、紋理粘貼方式，從而得到具有紋理的三維物體，提高模型的真實感。

發(fā)明內(nèi)容

根據(jù)上述提出傳統(tǒng)建模的復(fù)雜性問題，而提供一種基于虛擬視點合成繪制三維物體的方法和系統(tǒng)。本發(fā)明主要利用隱式幾何信息的IBR技術(shù)——基于深度的圖像繪制技術(shù)(Depth-Image-BasedRendering，DIBR)，利用雙向映射實現(xiàn)虛擬物體的重建，從而實現(xiàn)用少量的圖像數(shù)據(jù)完成整個三維物體的重現(xiàn)。

本發(fā)明采用的技術(shù)手段如下：

本發(fā)明提供了一種基于虛擬視點合成繪制三維物體的方法，包括如下步驟：

S1：對參考相機進行標定和配準；

S2：選擇同一場景下包括左、右兩個角度的參考視點，使用參考相機分別采集參考視點左、右兩個角度的參考圖像，包括一張彩色圖像和一張與彩色圖像相應(yīng)的深度圖像；

S3：采用中值濾波器對深度圖像進行預(yù)處理去除深度圖像中的無效點；