[發明專利]AR應用中的虛實遮擋處理方法

有效

• 申請號: 202011049649.4
• 申請日: 2020-09-29
• 公開（公告）號: CN111899293B
• 公開（公告）日: 2021-01-08
• 發明（設計）人: 羅天;何金龍;袁霞
• 申請（專利權）人: 成都索貝數碼科技股份有限公司
• 主分類號: G06T7/50
• 分類號: G06T7/50;G06T7/70;G06T7/80;G06T19/00;G06T7/30;G06T5/00;G06F17/16
• 代理公司: 成都九鼎天元知識產權代理有限公司 51214
• 代理人: 吳彥峰

本發明公開了一種AR應用中的虛實遮擋處理方法，包括步驟：將深度相機下的離散人體深度圖配準到主攝像機下進行稠密化處理后生成人體深度圖；加入主攝像機RGB的梯度圖和配準遮罩圖對主攝像機下的人體深度圖進行映射后得到人體遮罩圖；通過人體遮罩圖中對應像素坐標下的深度值大小比較生成遮擋效果遮罩圖，依據遮擋效果遮罩圖來顯示虛擬物體像素或真實人體像素等；本發明能夠實時地輸出目標真實物體和虛擬物之間精細的遮擋效果，不僅能夠適用于真實物體遮擋虛擬物體的應用場景，而且能夠達到部分遮擋的復雜效果，同時還能夠最大程度保持邊緣細節，對AR系統的真實性感觀，提供了可靠的技術保障。

技術領域

本發明涉及AR技術領域，更為具體的，涉及一種AR應用中的虛實遮擋處理方法。

背景技術

隨著視頻技術的發展，圖像深度估計算法、三維重建工程以及立體視覺硬件系統的日趨完善。AR(增強現實)技術在以上理論和技術基礎上能夠構建更加真實和豐富沉浸感的虛擬體驗，它可以應用于游戲行業、醫療行業、虛擬演播室等。AR技術的核心就是表達一個虛實交互的過程，能夠正確地反映真實場景和虛擬物體的空間關系是這一項技術的關鍵，AR中的遮擋處理問題求解就是從無到有地構建虛和實現在當前相機視角下的成像位置關系。構建遮擋處理關系的重點在于實體的深度估計、虛實之間的邊緣融合、以及相機配準等相關流程。發展至今，主要存在以下幾類解決方案：

1）現有的一些虛擬演播技術能夠實現一些簡單的遮擋處理關系，但是他們大多數只能夠通過簡單的場景標定和貼圖過程的方式將虛擬物體放置在比真實物體更靠近鏡頭的位置。這種方式只能夠實現虛擬物體遮擋處理真實物體的情形，其應用的單一性已經不能滿足各行業日益增長的需求。

2）隨著摳像技術的成熟，以及它在虛擬演播室中的廣泛應用，一些基于人物面片的遮擋處理技術問世并被各種產品采納。這種方式能夠很好地解決方案1）中不能實現實體遮擋處理虛擬物體的問題，但是由于人物數據是面片形式，缺少局部深度信息，完成更加精細的虛實交互存在一定難度。

3）虛實遮擋處理效果的精度與真實場景的三維化程度成正比例關系，一些技術方案通常采用稠密三維重建的方式對場景進行三維重構，在獲得完整的深度信息之后，便能夠實現比較精細的遮擋處理效果。但是稠密重建的數據量大、運算復雜等特點，使得這項技術在AR應用中基本上達不到實時。

針對AR中的遮擋處理問題，每條技術路線具備相應的衍生算法或技術、預處理以及后處理過程。基本框架涵蓋多視圖幾何問題、計算成像體系以及二維圖像處理等相關技術，如何設計和組合這些算法或流程是開發一個高效的AR虛實遮擋處理應用的前提。技術方案的選擇和設計應綜合考慮硬件成本、開發成本、算法實現難易程度、算法魯棒性等因素。

發明內容

本發明的目的在于克服現有技術的不足，提供一種AR應用中的虛實遮擋處理方法，能夠實時地輸出目標真實物體和虛擬物之間精細的遮擋效果，不僅能夠適用于真實物體遮擋虛擬物體的應用場景，而且能夠達到部分遮擋的復雜效果，同時還能夠最大程度保持邊緣細節，對AR系統的真實性感觀，提供了可靠的技術保障。

本發明的目的是通過以下方案實現的：

一種AR應用中的虛實遮擋處理方法，包括步驟：

將深度相機下的離散人體深度圖配準到主攝像機下進行稠密化處理后生成人體深度圖；

加入主攝像機RGB的梯度圖和配準遮罩圖對主攝像機下的人體深度圖進行映射后得到人體遮罩圖；

通過人體遮罩圖中對應像素坐標下的深度值大小比較生成遮擋效果遮罩圖，依據遮擋效果遮罩圖顯示虛擬物體像素或真實人體像素。

進一步的，采用卷積方式填充滿離散化的深度坐標周邊的空洞像素點得到稠密的人體區域且對應填充位置上的深度值由周邊鄰域共同決定，生成稠密化后的所述人體深度圖。