[發明專利]一種增強現實中虛實遮擋處理方法

有效

• 申請號: 202011255392.8
• 申請日: 2020-11-11
• 公開（公告）號: CN112365516B
• 公開（公告）日: 2022-09-27
• 發明（設計）人: 劉衛忠;薛靜;馮卓明;劉輝斌;陶雄飛;胡作啟
• 申請（專利權）人: 華中科技大學
• 主分類號: G06T7/13
• 分類號: G06T7/13;G06T7/181;G06T7/50;G06T7/70
• 代理公司: 北京金智普華知識產權代理有限公司 11401
• 代理人: 楊采良

1.一種增強現實中虛實遮擋處理方法，其特征在于，包括虛實遮擋判定的方法和虛實物體遮擋渲染方法；虛實遮擋判定的方法所述以下步驟：

(1)在相機初始化過程中記錄初始化平移距離作為一個尺度值；

(2)分解出相機的位姿，得到兩幀之間相機的運動；

(3)計算真實物體特征點的相對深度，結合初始化平移尺度得出特征點實際深度值；根據步驟(2)中所得到的變換矩陣和三角測量原理，利用公式(2)可計算真實物體特征點的相對深度s1和s2，結合初始化平移尺度s得出特征點實際深度值，在對真實物體提取特征時，應提取盡量足夠多的特征點以覆蓋物體表面，這樣求得的特征點深度值才能作為真實物體深度來近似

s₁x₁＝s₂Rx₂+t 式(2)

s₁x₁^x₁＝s₂x₁^Rx₂+x₁^t 式(3)

s₂x₁^Rx₂+x₁^t＝0 式(4)

(4)將虛擬物體各像素點在相機坐標系下的Z軸坐標作為虛擬物體深度值；

(5)通過比較深度值確定遮擋關系；

所述虛實物體遮擋渲染方法包括以下步驟：

(6)已知場景中真實物體與虛擬物體之間的遮擋關系，確定出遮擋物與被遮擋物；

(7)提取遮擋物輪廓；

(8)輪廓邊緣優化與連接：在獲取遮擋物輪廓后，對其邊緣進行濾波優化，去除雜點，并對間斷點進行連接；

(9)建立遮擋蒙版：遍歷獲取的遮擋物輪廓圖片所有像素，判定像素是否位于輪廓內部，是則將該像素值設置為1，否則設為0；

(10)OpenGL模板測試：根據遮擋蒙版建立OpenGL模板緩存中的模板，設置glStencilFunc函數設置參數func為GL_EQUAL，使得模板像素值為1的像素通過測試并將此像素的RGB信息存儲到顏色緩存中，未通過模板測試的像素后續進行深度測試，從而繪制出遮擋物；

(11)OpenGL深度測試：將深度緩存中存儲的各像素深度值設置為一個相對較大值far，對未通過模板測試的像素，將通過SFM計算的像素深度值與此像素存儲在深度緩存中的深度值進行比較，glDepthFunc函數變量設為GL_LESS，此時像素深度值若小于存儲在深度緩存中的值，則用計算得到的像素深度值更新深度緩存，并將此通過深度測試的像素的RGB信息存儲到顏色緩存中，從而繪制出遮擋物以外像素。

2.根據權利要求1所述的增強現實中虛實遮擋處理方法，其特征在于：所述步驟(1)中具體為：在相機標定求解相機內參的過程中，記錄下相機在場景中平移的實際距離，與通過計算得出的相機的平移向量進行映射，得出一個尺度值。

3.根據權利要求1所述的增強現實中虛實遮擋處理方法，其特征在于：所述步驟(2)中具體為：將相機第一幀圖像所在坐標系設為世界坐標系O_wX_wY_wZ_w，后續對相機拍攝的真實物體圖像幀O_cX_cY_cZ_c進行ORB特征提取和匹配，求取每個圖像幀相對于第一幀所對應的變換矩陣，從而分解出相機的位姿，得到式(1)中的旋轉矩陣R和平移向量t，得到兩幀之間相機的運動；

4.根據權利要求1所述的增強現實中虛實遮擋處理方法，其特征在于：所述步驟(5)中具體為：將處于同一視點下的虛擬物體和真實物體像素點的深度值進行比較，若虛擬物體像素深度值小于真實物體像素深度值，則為虛擬物體像素遮擋真實物體像素，否則為真實物體像素遮擋虛擬物體像素。