[發明專利]一種增強現實中虛實遮擋處理方法

有效

• 申請號: 202011255392.8
• 申請日: 2020-11-11
• 公開（公告）號: CN112365516B
• 公開（公告）日: 2022-09-27
• 發明（設計）人: 劉衛忠;薛靜;馮卓明;劉輝斌;陶雄飛;胡作啟
• 申請（專利權）人: 華中科技大學
• 主分類號: G06T7/13
• 分類號: G06T7/13;G06T7/181;G06T7/50;G06T7/70
• 代理公司: 北京金智普華知識產權代理有限公司 11401
• 代理人: 楊采良

本發明公開了一種增強現實中虛實遮擋處理方法，包括虛實遮擋判定的方法和虛實物體遮擋渲染方法；與現有技術相比，本發明首先通過SFM算法判定虛實物體兩者的遮擋關系，分離出遮擋物；然后通過建立蒙版的方法對虛實物體進行遮擋渲染，使得在增強現實系統能夠實現遮擋邊緣更好，準確度更高的遮擋效果。

技術領域

本發明涉及計算機圖形學與增強現實相結合的技術領域，尤其涉及一種增強現實中虛實遮擋處理方法。

背景技術

增強現實(Augmented Reality，AR)是在虛擬現實(Virtual Reality，VR)的基礎上發展起來的，是將計算機生成的虛擬物體嵌入到真實存在的現實場景中實現虛實融合的一項技術。其中，虛實遮擋處理是虛實融合的關鍵。主要分為兩大環節：虛實物體遮擋關系判定和融合渲染。目前遮擋處理技術主要分為三類：基于三維重建、基于深度計算和基于圖像分析三種方法?；谌S重建的方法，原理是對真實環境進行三維重建后，自動獲取真實對象與虛擬對象三維模型之間的遮擋關系?；谏疃扔嬎愕姆椒?，前提是利用立體視覺原理獲取場景的深度信息，并將深度信息儲存在深度緩沖區中，在進行遮擋判斷時，將真實場景的深度值也即存儲在緩沖區的深度值與渲染的虛擬對象到攝像頭的距離進行比較，并將此比較值作為判斷虛實遮擋關系的依據。基于圖像分析的方法，通過獲取真實遮擋物的輪廓和人工標記的虛實位置關系，就能夠對場景圖像進行遮擋處理和渲染。在上述方法中，每種方法都有著各自適用的場景和缺點限制，例如計算量較大，融合渲染效果不理想等。

發明內容

本發明的目的就在于為了解決上述問題而提供一種增強現實中虛實遮擋處理方法。

本發明通過以下技術方案來實現上述目的：

本發明包括虛實遮擋判定的方法和虛實物體遮擋渲染方法；虛實遮擋判定的方法所述以下步驟：

(1)在相機初始化過程中記錄初始化平移距離作為一個尺度值；

(2)分解出相機的位姿，得到兩幀之間相機的運動；

(3)計算真實物體特征點的相對深度，結合初始化平移尺度得出特征點實際深度值；

(4)將虛擬物體各像素點在相機坐標系下的Z軸坐標作為虛擬物體深度值；

(5)通過比較深度值確定遮擋關系；

所述虛實物體遮擋渲染方法包括以下步驟：

(6)已知場景中真實物體與虛擬物體之間的遮擋關系，確定出遮擋物與被遮擋物；

(7)提取遮擋物輪廓；

(8)輪廓邊緣優化與連接：在獲取遮擋物輪廓后，對其邊緣進行濾波優化，去除雜點，并對間斷點進行連接；

(9)建立遮擋蒙版：遍歷獲取的遮擋物輪廓圖片所有像素，判定像素是否位于輪廓內部，是則將該像素值設置為1，否則設為0；

(10)OpenGL模板測試：根據遮擋蒙版建立OpenGL模板緩存中的模板，設置glStencilFunc函數設置參數func為GL_EQUAL，使得模板像素值為1的像素通過測試并將此像素的RGB信息存儲到顏色緩存中，未通過模板測試的像素后續進行深度測試，從而繪制出遮擋物；

(11)OpenGL深度測試：將深度緩存中存儲的各像素深度值設置為一個相對較大值(far)，對未通過模板測試的像素，將通過SFM計算的像素深度值與此像素存儲在深度緩存中的深度值進行比較，glDepthFunc函數變量設為GL_LESS，此時像素深度值若小于存儲在深度緩存中的值，則用計算得到的像素深度值更新深度緩存，并將此通過深度測試的像素的RGB信息存儲到顏色緩存中，從而繪制出遮擋物以外像素。