[發明專利]一種多視點自由立體顯示的三維增強現實方法

有效

• 申請號: 201110412061.5
• 申請日: 2011-12-12
• 公開（公告）號: CN102568026A
• 公開（公告）日: 2012-07-11
• 發明（設計）人: 劉靈珊;李陽;李東曉;王梁昊;張明
• 申請（專利權）人: 浙江大學
• 主分類號: G06T15/40
• 分類號: G06T15/40;H04N13/00
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 張法高

1.一種多視點自由立體顯示的三維增強現實方法，其特征在于它的步驟如下：

1）雙目相機立體拍攝自然場景，獲取一路主相機圖像序列和一路輔相機圖像序列并輸入計算機；

2）計算機中相機追蹤模塊提取主相機圖像序列每一幀的特征點并匹配特征點，實時產生自然場景的三維點云圖并計算主相機參數和輔相機參數；

3）多視點重建模塊根據主相機圖像、輔相機圖像、主相機參數和輔相機參數計算主相機圖像對應的深度圖，根據主相機圖像、計算出的深度圖和指定的虛擬相機參數，用DIBR算法計算多視點自由立體顯示需要的多路虛擬視點圖像及其深度圖，對于虛擬視點圖像中存在的空洞和遮擋區域，結合輔相機圖像序列，采用深度輔助的時空一致空洞修復算法進行修復；

4）由三維制作軟件繪制三維虛擬模型，虛實融合模塊根據主相機參數、三維點云圖和三維虛擬模型、主視點深度圖和虛擬視點深度圖進行三維注冊，實現虛實融合，光照計算單元計算虛實場景光照，實現虛實光照一致性，無縫融合單元平滑擴散虛實邊界的差異性；

5）顯示處理模塊把主相機圖像形成的主視點虛實融合圖像，多個虛擬視點圖像形成的虛擬視點虛實融合圖像進行適當的合成，以適合多視點觀察的需要；

6）三維顯示器提供裸眼的、適合多人多角度觀察的虛實融合圖像。

2.根據權利要求1所述的多視點自由立體顯示的三維增強現實方法，其特征在于所述的步驟2）為：

1）將相機追蹤與特征點映射分為兩個線程；

2）用立體匹配算法做三維點云的初始化，用FAST?corner算法提取主相機圖像序列每一幀的特征點，根據特征點的數量和匹配關系選擇關鍵幀，將關鍵幀上的特征點映射到三維點云圖，根據三維點云圖中的特征點坐標與每一主相機圖像幀上的特征點坐標之間的映射關系計算當前的相機位置。

3.根據權利要求1所述的多視點自由立體顯示的三維增強現實方法，其特征在于所述的步驟4）為：

1）三維注冊根據主相機參數、虛擬相機參數、深度圖和三維點云中的特征點數據確定三維虛擬模型在主視點圖像和虛擬視點圖像中的位置，結合三維虛擬模型數據渲染相應視點中的虛擬物體；

2）光照計算單元采用Cook-Torrance模型計算虛實場景光照模型，實現虛實光照一致性；

3）無縫融合單元采用Poisson圖像編輯算法將虛擬物體邊緣與自然場景的差異作平滑擴散，使虛實融合更具有真實感。