[發明專利]一種增強現實設備及虛實物體遮擋顯示方法

有效

• 申請號: 202110368533.5
• 申請日: 2021-04-06
• 公開（公告）號: CN113066189B
• 公開（公告）日: 2022-06-14
• 發明（設計）人: 郝冬寧
• 申請（專利權）人: 海信視像科技股份有限公司
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T7/50;G06T3/40
• 代理公司: 北京弘權知識產權代理有限公司 11363
• 代理人: 郭放;許偉群

本申請提供一種增強現實設備及虛實物體遮擋顯示方法，所述增強現實設備可以在獲取用戶的控制指令以后，在真實場景畫面中添加虛擬物體，以形成增強現實畫面。期間，增強現實設備可以根據虛擬物體像素點對重疊區域內的真實場景畫面中稀疏的點云坐標執行插值補償，以通過插值補償得到重疊區域內的真實物體像素點坐標。再經過對比坐標值中的深度分量，確定虛實物體的遮擋關系，以按照遮擋關系隱藏被遮擋的虛擬物體像素點，融合成最終的增強現實畫面。所述增強現實設備可以在真實場景畫面中識別稀疏點云狀態下，獲得較好的遮擋顯示效果，降低硬件功耗的同時有效提升遮擋效果的顯示質量。

技術領域

本申請涉及增強現實設備技術領域，尤其涉及一種增強現實設備及虛實物體遮擋顯示方法。

背景技術

增強現實(Augmented Reality，AR)技術是一種將虛擬畫面與真實場景相融合的技術。可以將生成的虛擬物體，如文字、圖像、三維模型以及視頻畫面模擬仿真并應用在真實場景畫面中，為用戶帶來虛擬畫面與真實畫面相結合的觀影感受。增強現實設備是一種應用增強現實技術的智能顯示設備，可以在使用中實時獲取真實場景畫面和虛擬畫面，再將虛擬畫面與真實場景畫面相融合，以呈現給用戶最終的融合畫面。

增強現實設備在將虛擬畫面與真實場景畫面進行融合的過程中，需要對虛擬物體與真實物體之間的互相遮擋結果進行計算，以輸出更真實的融合畫面。例如，在用戶移動觀看視角的過程中，當虛擬物體位于真實物體后方時，從用戶觀看的視角將出現真實物體遮擋虛擬物體的效果。

為了計算遮擋效果，增強現實設備可以基于深度相機獲取當前真實場景的深度信息，構建點云坐標系，以通過多個3D坐標點構成的點云表示每個真實物體，最后配合已知的虛擬物體位置信息融合出最終的遮擋效果。可見，這種畫面融合方法所獲得的畫面效果依賴點云的密度，即點云密度越稠密，能夠獲得遮擋效果越好。但深度相機和較高的點云密度將嚴重增加硬件功耗，降低增強現實設備對虛實物體遮擋效果的顯示性能。

發明內容

本申請提供了一種增強現實設備及虛實物體遮擋顯示方法，以解決傳統增強現實設備對虛實物體遮擋效果的顯示性能低的問題。

一方面，本申請提供一種增強現實設備，包括：顯示器、圖像采集裝置以及控制器，其中，所述顯示器用于顯示用戶界面；圖像采集裝置用于獲取真實場景畫面；控制器被配置為執行以下程序步驟：

獲取用戶輸入的用于顯示增強現實畫面的控制指令；

響應于所述控制指令，在所述真實場景畫面中添加虛擬物體；

根據虛擬物體像素點對重疊區域內的真實場景畫面點云坐標執行插值補償，以獲得真實物體像素點；

檢測重疊區域內所述真實物體像素點和虛擬物體像素點的遮擋關系，以及根據檢測結果隱藏被遮擋的虛擬物體像素點。

另一方面，本申請還提供一種虛實物體遮擋顯示方法，應用于上述增強現實設備。所述虛實物體遮擋顯示方法包括以下步驟：

獲取用戶輸入的用于顯示增強現實畫面的控制指令；

響應于所述控制指令，在所述真實場景畫面中添加虛擬物體；

根據虛擬物體像素點對重疊區域內的真實場景畫面點云坐標執行插值補償，以獲得真實物體像素點；

檢測重疊區域內所述真實物體像素點和虛擬物體像素點的遮擋關系，以及根據檢測結果隱藏被遮擋的虛擬物體像素點。