[發明專利]一種自由視角視頻流中3D目標顯示方法

無效

• 申請號: 201010271773.5
• 申請日: 2010-09-03
• 公開（公告）號: CN101931825A
• 公開（公告）日: 2010-12-29
• 發明（設計）人: 袁杰;梁曉豪;鄭暉
• 申請（專利權）人: 南京大學
• 主分類號: H04N13/00
• 分類號: H04N13/00;G06T17/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及視頻數據處理和三維重建領域，特別是一種自由視角視頻流中3D目標顯示方法。

背景技術

隨著技術發展，研究領域和消費市場上出現了一些顯示立體效果的顯示終端，主要有兩大類型，其一是通過佩戴立體眼睛，根據人眼的視差在大腦中形成立體畫面的顯示裝置；其二是通過物理光學裝置讓雙眼看到不同的畫面從而形成立體視覺效應。這兩種方法都是被動式的立體顯示方式，即觀察者不能自主選擇觀察視角和距離，并且每個觀察者不管處于什么位置和角度都只能看到同樣的立體畫面，和真實生活中的立體視覺完全不同，因此能夠解決上述問題的主動式立體顯示就成為該領域研究的新途徑。

自由視角視頻顯示系統的實現目前主要可分為兩大類：一類是利用精密的硬件設備，直接測量出物體表面的三維坐標或深度信息。這一類系統能夠得到物體精確的三維結構，但成本高，操作復雜，而且適用范圍窄；另一類則對硬件的依賴較少，僅從攝像機成像模型入手，利用圖像本身以及圖像之間的關聯信息計算物體的三維結構。

傳統的三維重建在特征點較少或物體較復雜情況下會無法正確重建物體的三維結構信息及紋理信息。

發明內容

發明目的：本發明所要解決的技術問題是針對現有技術的不足，提供一種自由視角視頻流中3D目標顯示方法，從而使得在被重建的紋理較單一，目標特征點較少(即使為規則或少曲面目標)，仍然能夠準確的顯示目標物體的物理結構及其紋理。

為了解決上述技術問題，本發明公開了一種自由視角視頻流中3D目標顯示方法，包括以下步驟：

步驟一，三維特征點分面：讀取各攝像機同幀圖像，提取三維特征點并分面；

步驟二，網格化各面的特征點并判斷各面間的連通性：將各面特征點網格化；二維紋理圖片的面面連通性判斷法來確定是否需要面面延伸；

步驟三，填補面內“空洞”和面面間“縫隙”：采用紋理延伸技術填補這些空洞和縫隙，完成從而實現自由視角的3D目標顯示。

本發明中，優選地，所述步驟一包括以下步驟：

步驟(11)，讀取各攝像機同幀圖像；包括使用多個攝像機捕捉一個場景，通過視頻設備，讀取各攝像機同幀圖像。

步驟(12)，從各攝像機同幀圖像中提取三維特征點；包括對圖像使用基于哈里斯角點的特征點提取方法，得到三維特征點。

步驟(13)，對特征點進行分面；包括采用逐級距離約束方法查找疑似表面，即只有當某特征點到當前目標特征點的距離小于約束距離時才用它們創建疑似表面，這樣來完成特征點的分面。

本發明中，優選地，所述步驟二包括以下步驟：

步驟(21)，在分面的基礎上，采用二維三角網格化對各面特征點操作來完成三維網格化的工作；將需網格化的目標平面投影到與其夾角最小的坐標平面，然后在二維平面內進行基于特征點的三角劃分，再將此劃分反投回三維空間，就得到了三維空間點集的劃分，完成三維網格化。

步驟(22)，二維紋理圖片的面面連通性判斷法來判斷面面延伸；包括判斷兩面相交且交線上有無特征點，使用一種基于二維紋理圖片的面面連通性判斷法來判斷是否需要面面延伸。

本發明中，優選地，所述步驟三包括以下步驟：

步驟(31)，基于線性算法的面內延伸用于填補由于分面造成的面內空洞；判斷相連通面交線上有無特征點，完成面內延伸。

步驟(32)，判斷兩面連通但有無公共點，采用基于NURBS曲面的面面延伸的延伸填補策略完成進行面面延伸。

步驟(33)，根據物體顏色(灰度)對延伸三角網格進行顏色填充。

本發明的原理是通過對各攝像機同幀圖像進行三維特征點分面，然后網格化各面的特征點并繪制相應紋理，判斷各面間的連通性，應用基于線性算法的面內紋理延伸技術和基于NURBS曲面的面面紋理延伸技術填補面內“空洞”和面面間“縫隙”，根據物體顏色完成三維渲染，最終實現自由視角視頻流中的3D目標顯示。

有益效果：本發明在不增加額外裝置的情況下，通過軟件方法進行圖像處理和3D目標顯示，保證目標物體的三角網格內部不包含物體的棱角，能智能判斷物體棱的存在性，并選擇最好的延伸方法顯示目標物體棱角區域或小曲面區域的紋理。本方法能夠具有真實感的顯示規則及少曲面剛體，特別是在少特征點情況下，相較于傳統方法有較好的顯示效果。

附圖說明

下面結合附圖和具體實施方式對本發明做更進一步的具體說明，本發明的上述和/或其他方面的優點將會變得更加清楚。

圖1是本文方法重建效果和傳統三維網格重建效果的示意圖。

圖2是本發明特征點分面的流程圖。