[發明專利]邊緣保持深度濾波

有效

• 申請號: 201480031837.0
• 申請日: 2014-05-30
• 公開（公告）號: CN105378505B
• 公開（公告）日: 2018-03-30
• 發明（設計）人: E.巴索姆;C.皮珀
• 申請（專利權）人: 微軟技術許可有限責任公司
• 主分類號: G01S17/89
• 分類號: G01S17/89;G01S7/491
• 代理公司: 中國專利代理(香港)有限公司72001
• 代理人: 初媛媛,景軍平

背景技術

深度相機用于生成包括多個像素的深度圖像。每一個像素包括可用于估計從相機到由該像素成像的表面的距離的信息。該距離可以稱為表面的深度。然而，像素信息可能是有噪聲的或者包括最終導致不太精確的深度估計的缺陷。

發明內容

提供本發明內容來以簡化的形式引入以下在具體實施方式中進一步描述的概念的選擇。本發明內容不意圖標識所要求保護的主題的關鍵特征或本質特征，也不意圖用于限制所要求保護的主題的范圍。另外，所要求保護的主題不限于解決在本公開的任何部分中所指出的任何或全部缺點的實現。

利用經調制光照光來光照場景，經調制光照光從場景中的表面反射為經調制反射光。深度相機的多個像素中的每一個接收經調制反射光并且觀察經調制光照光與經調制反射光之間的相位差。對于多個像素中的每一個，識別該像素的邊緣性，并且根據該像素的邊緣性來平滑該像素。

附圖說明

圖1示出依照本公開的實施例的對深度信息進行濾波的示例方法。

圖2示意性地示出對場景進行成像的飛行時間深度相機。

圖3示意性地示出飛行時間深度相機的經調制光照與反射光之間的相位差。

圖4A示意性地示出在平滑之前的像素組。

圖4B示意性地示出在具有邊緣保持的平滑之后的圖4A的像素。

圖4C示意性地示出在沒有邊緣保持的平滑之后的圖4A的像素。

圖5A示出從飛行時間深度相機的角度來看的圖2的經成像的場景。

圖5B示出具有邊緣圖重疊的圖5A的場景。

圖6A示意性地示出具有合理邊緣的像素的3x3網格。

圖6B示意性地示出具有噪聲并且沒有合理邊緣的像素的3x3網格。

圖7示意性地示出依照本公開的實施例的計算系統。

具體實施方式

飛行時間深度相機利用經調制光來光照場景并且然后捕獲經反射的經調制光。深度相機的每一個像素用于查明光照光與經反射光之間的相位差。這樣的相位差可以用于計算從相機到反射經調制光的表面的距離。然而，這樣的經計算距離可能受噪聲和/或由深度相機獲得的相位差中的其它所不期望的像素到像素的變化的不利影響。為了減少由這樣的噪聲和/或其它變化所造成的潛在的不利效果，本公開描述了對相位差進行濾波。另外，這樣的平滑被選擇性地應用以便保持合理的深度邊緣。特別地，向被認為對具有不同深度的表面之間的邊界進行成像的那些像素應用極少的平滑或不應用平滑。

圖1示出對深度圖像進行濾波的方法100。在102處，方法100包括利用經調制光照光來光照場景。經調制光照光可以包括具有多個不同調制頻率的光。作為一個非限制性示例，經調制光照光可以包括具有16兆赫茲分量、80兆赫茲分量和120兆赫茲分量的光。

例如，圖2示意性地示出利用經調制光照光206來光照場景204的深度相機202。特別地，深度相機202包括將經調制光照光206照耀在場景204上的光照器208。光照器可以包括一個或多個發光二極管、激光器和/或其它光源。經調制光照光206可以是任何合適的單數或復數頻率或頻帶。例如，經調制光照光可以完全處于紅外或近紅外光的一個或多個帶內。

轉回到圖1，在104處，方法100包括接收經調制反射光。例如，圖2示出接收經調制反射光210的深度相機202，該經調制反射光210從場景204中的表面反射回到深度相機202。

深度相機202可以包括被配置成接收經調制反射光210的多個像素212。多個像素212中的每一個可以被配置成針對一個或多個不同的調制頻率檢測所接收到的反射光的時變幅度。照此，每一個像素能夠查明到達該像素的反射光的特定調制。作為一個非限制性示例，每一個像素可以被配置成在三個不同時間處對經調制光的強度進行采樣，因而允許確定周期性調制的相位。另外，每一個像素可以針對不同調制頻率中的每一個進行這樣的采樣。

轉回到圖1，在106處，方法100包括在多個像素中的每一個處觀察經調制光照光與經調制反射光之間的相位差。可以針對經調制光照光的每一個不同的調制頻率觀察相位差。作為一個示例，針對每一個像素從深度相機捕獲的數據可以表示為：

其中A是經調制幅度并且是相位差。