[發明專利]一種基于多視點視頻的三維展示方法

有效

• 申請號: 201210581315.0
• 申請日: 2012-12-27
• 公開（公告）號: CN103077552B
• 公開（公告）日: 2016-01-13
• 發明（設計）人: 趙磊;張勤飛;陸勝;魯東明;包倪光;任艷姣
• 申請（專利權）人: 浙江大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T15/00;G06T15/04
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 胡紅娟

技術領域

本發明涉及計算機圖形圖像、視頻、虛擬現實領域，尤其涉及一種基于 多視點視頻的三維展示技術。

背景技術

真實場景的三維再現傳統方法是對真實場景進行三維重建，得到一系 列的三維模型，然后基于不同的視點位置利用計算機圖形學對三維模型進 行高真實感的渲染繪制，得到真實場景在不同視點下的圖像。獲得場景三 維模型的常見方法有以下幾種：一是利用三維建模軟件直接創造三維模型， 嚴格上來說，這樣的模型和真實的物體還是存在比較大的差距的；二是通 過提取圖像或視頻的信息重建物體的三維形態；三是通過三維掃描設備對 物體表面進行三維掃描。上述方法得到一定范圍的應用，但僅僅局限于靜 態場景，對于動態場景仍面臨許多富有挑戰性的問題，主要表現在：

(1)傳統的真實場景重建一般是基于圖像或者采用三維建模軟件的方 法進行建模，由于真實的場景過于復雜，基于圖像的建模方法以及三維建 模軟件建模方法都無法得到和真實場景一樣的復雜度和真實感，無論采用 多么先進的真實感渲染算法，得到的圖像在真實感方面都無法和真實的照 片相比較。

(2)建模的復雜度。真實場景往往包含很多的場景元素，每個單獨的 場景元素建模都是很費時的，當場景很大包含的內容很豐富的時候，采用 三維建模軟件建模和基于圖像的建模來構建這樣一個真實的場景是不現實 的，況且基于圖像的建模由于圖像的匹配等要求場景不能太復雜，建立出 來的模型隨著場景的復雜度越高效果越差。

(3)實時應用限制。真實場景的三維再現主要應用在實時再現方面， 傳統的方法得到的三維模型的復雜度是和真實場景的內容豐富度成正比 的，如果真實場景越復雜，那么重構出來的三維模型的面片數和紋理數也 就越復雜，那么高真實感地渲染這樣一個復雜的三維模型在目前的計算機 硬件和計算機圖形學的技術條件下是非常耗時的，不能夠滿足實時應用領 域的速度要求。

(4)靜態場景限制。基于圖像的建模方法或者三維建模軟件建模方法 已經能夠建立不太復雜的真實場景，盡管能夠滿足一些領域的應用，但是 對于復雜的動態場景，建立一個序列的復雜場景模型，在時間耗費上以及 復雜場景模型存儲上都存在很大的問題。傳統的方法適用于靜態的簡單的 真實場景的建模，而對于動態的真實復雜場景的建模顯得無能為力。

因此，通過部署在動態真實場景中的多個視頻獲取設備對動態場景的 每個時刻進行同步地獲取不同視點角度的視頻數據，然后對這些視頻數據 按照時間和視點兩個維度進行視頻數據整合建模，利用已有視點視頻圖像 以及虛擬視點生成等技術，支持動態真實場景的三維再現展示對于復雜真 實場景的再現是非常有意義的。

發明內容

本發明提出了一種基于多視點視頻的三維展示方法，有別于目前的基 于三維數字化模型的三維展示技術，本發明是利用多個視點的視頻圖像來 模擬三維數字化模型的各個角度圖像，通過這種方法不僅僅可以快速方便 地對真實場景進行全方位的再現，同時避免了真實復雜場景的建模問題， 同時可以達到和高真實三維數字化建模同樣甚至更高的效果。

本發明通過多個視點的視頻來對真實場景進行三維展示，主要有數據 建模和三維渲染兩個部分，包括以下步驟：

(1)在多個視點上分別獲取三維場景的視頻數據，得到多視點的視頻 數據，針對多視點的視頻數據，從各視點的視頻數據中提取時間維度相應 的幀，并整合為若干數據片段；該步驟中視點數量一般為至少4個，實際 過程中可根據實際需要設定；

(2)構建一個多面體盒子，多面體盒子的面數與多視點的視點數相對 應，逐個提取步驟(1)中的數據片段，將每個視點的視頻數據貼圖到多面 體盒子的一對應面；這樣構成了一個基于真實世界的全景圖，這個全景圖 不是靜止的，而是隨著多視點視頻的不同幀的光照不同而動態變化；

(3)將構建好的三維模型放在多面體盒子中心，將整個多面體盒子劃 分為若干個等面積的小平面，每個小平面虛擬為一個點光源；該步驟每個 面上等面積的小平面的數量一般為十個以上，可根據實際顯示需要確定；

(4)計算三維模型上所有幾何點各個方向的出射亮度值，其中任一幾 何點的出射亮度值為L_r(x，ω_r)，如下式：

式(1)中：