[發明專利]用于動態遮擋處置的系統和方法

在審

• 申請號: 201780052439.0
• 申請日: 2017-06-26
• 公開（公告）號: CN109844819A
• 公開（公告）日: 2019-06-04
• 發明（設計）人: 葉茂;Y-L.陳;L.任;C.杜
• 申請（專利權）人: 羅伯特·博世有限公司
• 主分類號: G06T19/00
• 分類號: G06T19/00
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 畢錚;申屠偉進

計算系統包括具有至少一個處理單元的處理系統。處理系統被配置為接收具有對象的第一邊界的深度圖。處理系統被配置為接收對應于深度圖的彩色圖像。彩色圖像包括對象的第二邊界。處理系統被配置為從深度圖中提取第一邊界的深度邊沿點。處理系統被配置為標識深度圖上的目標深度邊沿點。目標深度邊沿點對應于彩色圖像中的對象的第二邊界的彩色邊沿點。此外，處理系統被配置為將深度邊沿點速移到目標深度邊沿點，使得利用針對對象的對象邊界來增強深度圖。

相關申請的交叉引用

本申請要求于2016年6月27日提交的美國臨時專利申請號62/354,891的權益，并且特此通過引用將該美國臨時專利申請在其整體上合并于本文。

技術領域

本公開涉及用于增強深度圖的系統和方法，并且更具體地，涉及利用增強的深度圖的動態遮擋處置。

背景技術

增強現實（AR）涉及提供現實世界環境與虛擬世界環境（例如，計算機生成的輸入）一起的合成視圖的技術。通常需要正確的深度感知來交付逼真且無縫的AR體驗。例如，在AR輔助維護或制造任務中，用戶趨于與現實和虛擬對象兩者頻繁交互。然而，在沒有正確的深度感知的情況下，難以提供現實世界場景和虛擬世界場景之間具有適當遮擋處置的無縫交互體驗。

一般而言，實時3D感測計算上是昂貴的并且要求高端傳感器。為了減小該開銷，一些早期工作依靠2D輪廓追蹤來推斷典型地假設為固定的遮擋關系。可替換地，假設場景是靜態的并保持不改變，一些其他工作包括離線建造場景的3D模型并在線使用這些3D模型以供深度測試。雖然這些方法可以實現一些遮擋處置效果，但是它們不能適應在AR應用中非常常見的用戶交互的動態本性。

此外，近期輕量級RGB深度（RGB-D）相機的到來為AR應用提供一些3D感測能力。然而，這些RGB-D相機典型地具有低成本消費者深度傳感器，所述低成本消費者深度傳感器通常經受各種類型的噪聲，在對象邊界周圍尤其如此。當這些輕量級RGB-D相機用于AR應用時，這類限制典型地引起不合適的視覺偽像，從而妨礙得體的AR體驗。已經針對深度圖增強完成了大量研究以改進這些輕量級RGB-D相機提供的傳感器數據的質量。然而，這些方案中的大多數歸因于其高計算成本而不能直接應用于AR用例。

此外，濾波經常用于圖像增強。例如，一些示例包括聯合雙邊濾波過程或者引導圖像濾波過程。此外，其他示例包括域變換過程、自適應流形過程或修補過程。然而，這些過程典型地在計算上是昂貴的并且經常導致邊沿模糊，從而引起邊界周圍的插值偽像。

發明內容

以下是下面詳細描述的某些實施例的概述。僅為了向讀者提供這某些實施例的簡要概述而給出所描述的方面，并且這些方面的描述沒有限制本公開的范圍的意圖。實際上，本公開可以涵蓋可能未在下面明確闡述的各種方面。

在示例實施例中，一種計算系統包括具有至少一個處理單元的處理系統。處理系統被配置為接收具有對象的第一邊界的深度圖。處理系統被配置為接收對應于深度圖的彩色圖像。彩色圖像包括對象的第二邊界。處理系統被配置為從深度圖中提取第一邊界的深度邊沿點。處理系統被配置為標識深度圖上的目標深度邊沿點。目標深度邊沿點對應于彩色圖像中的對象的第二邊界的彩色邊沿點。此外，處理系統被配置為將深度邊沿點速移到目標深度邊沿點，使得利用針對對象的對象邊界來增強深度圖。

在示例實施例中，一種用于動態遮擋處置的系統至少包括深度傳感器、相機和處理系統。深度傳感器被配置為提供深度圖。深度圖包括對象的第一邊界。相機被配置為提供彩色圖像。彩色圖像包括對象的第二邊界。處理系統包括至少一個處理單元。處理系統被配置為接收具有對象的第一邊界的深度圖。處理系統被配置為接收對應于深度圖的彩色圖像。彩色圖像包括對象的第二邊界。處理系統被配置為從深度圖中提取第一邊界的深度邊沿點。處理系統被配置為標識深度圖上的目標深度邊沿點。目標深度邊沿點對應于彩色圖像中的對象的第二邊界的彩色邊沿點。處理系統被配置為將深度邊沿點速移到目標深度邊沿點，使得利用針對對象的對象邊界來增強深度圖。