[發明專利]一種基于建模的圖像高效渲染方法

有效

• 申請號: 201310269970.7
• 申請日: 2013-06-28
• 公開（公告）號: CN103345771A
• 公開（公告）日: 2013-10-09
• 發明（設計）人: 郭立;于昊;劉皓;劉鵬;王成彰
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06T15/00
• 分類號: G06T15/00;G06T15/04
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 楊學明

技術領域

本發明涉及多視視頻、三維視頻、三維目標渲染、虛擬漫游等技術領域，具體而言，本發明涉及一種基于建模的圖像高效渲染方法。

背景技術

三維視頻技術在數字電視、虛擬現實系統、3D游戲、遠程教育與監控、遠程國內工業控制以及三維視頻會議系統等領域有廣闊的發展前景。相對于傳統的二維視頻，三維視頻可以讓用戶自由切換視角，除此之外也使用戶有“身臨其境”之感,這是一種交互性很強的媒體。近年來，隨著人們對虛擬現實系統的越來越多的青睞，三維視頻技術已成為計算機視覺領域的一個研究熱點。

三維視頻技術的關鍵在于三維渲染方法。傳統的三維渲染方法有，基于圖像的建模技術（IBM）和基于圖像的渲染技術（IBR）。IBM是傳統的圖形學立體成像方法。通過計算場景的精細模型和拍攝少量的環繞視點圖像，借助空間坐標系與屏幕坐標系間的映射規則進行采樣與投影，繼而獲得很好的渲染效果。其優點是紋理數據量小。然而由于渲染結果的好壞受到重建模型的精確度的影響，所以對模型的精確度要求較高，對于簡單場景可實現實時渲染，但在處理復雜場景時則將大量時間耗費在場景建模部分，不利于實時渲染。IBR根據已知的圖像來合成新視圖，其優點是無需對場景進行建模，計算量與場景復雜度無關，而且渲染結果具有照片級的逼真效果。由于這種方法沒有幾何模型作為約束，為避免模糊現象，導致視點采樣過于密集，表面光場數據量大，不利于光場數據的存儲與傳輸。

基于以上問題，基于建模的圖像渲染技術（IBMR技術）就成為一個研究的熱門方向。IBMR技術通過引入目標的三維網格模型作為幾何約束條件，可以減少視點采樣的數量。然而對于紋理接縫現象、紋理信息的存儲以及傳輸等方面仍然存在許多問題。

發明內容

本發明的目的旨在至少解決上述技術缺陷之一，特別是通過選用的采樣單元有效地解決了紋理接縫現象，而且對紋理信息進行了分解，既縮小了紋理信息的存儲空間也方便了紋理信息的傳輸和渲染。

為實現上述目的，本發明提出了一種基于建模的圖像高效渲染方法，包括如下步驟：

步驟（1）、以頂點的三角面環作為采樣單元，計算網格模型的各個頂點的可見視點列表，通過投影頂點的三角面環到各可見視點圖像中，生成各頂點的參考采樣矩陣；

步驟（2）、建立頂點的局部坐標系，將各可見視點投影到頂點的局部坐標系中，通過Delaunay三角剖分法生成虛擬視點，同時記錄各虛擬視點的權重，通過步驟（1）中的矩陣插值產生虛擬視點下的采樣信息，并與步驟（1）中的采樣矩陣合并為頂點的采樣矩陣

步驟（3）、分解，生成表面紋理與視點紋理；

步驟（4）、在解碼端預處理壓縮碼流；

步驟（5）、投影三維網格到新視點的屏幕坐標系中，以三角面為單元進行像素填充，計算的投影三角面中的各像素的坐標，讀取表面紋理與視點紋理，計算生成新視圖。

其中，所述的頂點的可見視點列表，確定頂點的采樣信息從哪些視點圖像中獲取，視點的可見性判別如下：

頂點的可見視點判定條件：對于頂點的三角面環中的各三角面，如果有一個三角面在該視點下不可見，則認為該頂點在該視點下不可見。三角面的可見性計算如下：

在世界坐標系下，通過攝像機標定計算攝像機中心坐標，記為，假設三角面的三個頂點的坐標為，則有：

三角面中心坐標Xm→=(X1→+X2→+X3→)/3;]]>

歸一化的三角面法向量：