[發(fā)明專利]用于實時運動偽影處理和去噪的方法和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201680019856.0
• 申請日: 2016-03-29
• 公開（公告）號: CN107743638B
• 公開（公告）日: 2021-10-26
• 發(fā)明（設(shè)計）人: C·舍克特;F·加西亞貝切羅;B·米爾巴赫
• 申請（專利權(quán)）人: IEE國際電子工程股份公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T11/00
• 代理公司: 永新專利商標(biāo)代理有限公司 72002
• 代理人: 陳松濤;王英

本公開提供了一種用于對渡越時間(ToF)傳感器圖像進行實時運動偽影處理和去噪的方法和系統(tǒng)，所述ToF傳感器圖像對應(yīng)于在發(fā)送經(jīng)調(diào)制的發(fā)送信號(s(t))之后由ToF傳感器接收到的接收信號(r(t))。所述方法包括：根據(jù)所述發(fā)送信號(s(t))和所述接收信號(r(t))來計算互相關(guān)函數(shù)C(T)在多個時間上間隔的位置或相位處的值，從而得到多個相應(yīng)的互相關(guān)值[C(T₀),C(T₁),C(T₂),C(T₃)]；根據(jù)所述多個互相關(guān)值[C(T₀),C(T₁),C(T₂),C(T₃)]得到深度圖D，所述深度圖D具有代表針對每個像素的到所述發(fā)送信號(s(t))所入射到的物體的一部分的距離的值；根據(jù)所述多個互相關(guān)值[c(T0),c(Ti),c(T2),c(T?i)]得到引導(dǎo)圖像(I；I’)，所述引導(dǎo)圖像(I；I’)為具有良好限定的邊緣的圖像；基于所述深度圖D和所述引導(dǎo)圖像(I；I’)來生成輸出圖像D’。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理，并且更具體地涉及用于對渡越時間(ToF)傳感器圖像進行實時運動偽影處理和去噪的方法和系統(tǒng)。

背景技術(shù)

存在需要借助于ToF傳感器(例如，相機)進行準(zhǔn)確距離計算的一系列領(lǐng)域和應(yīng)用。由相機采集到的那些場景可以是靜態(tài)的或動態(tài)的，并且在后一種情況下，在運動物體邊界處出現(xiàn)的運動偽影可能損壞圖像。

涉及準(zhǔn)確深度測量的典型應(yīng)用為人機交互(其中，尋求用于手勢識別的快速手分割)和汽車相關(guān)的應(yīng)用(其中，執(zhí)行占用分類、頭部姿勢估計和/或環(huán)境感知)。其它應(yīng)用對于技術(shù)人員而言將是顯而易見的。

基于解調(diào)鎖定像素的ToF相機通過所發(fā)出的調(diào)制近紅外(NIR)信號與所接收到的調(diào)制近紅外(NIR)信號之間的相移來估計深度，其中需要四個順序的相移圖像，即“四次敲擊”技術(shù)。

常規(guī)的ToF工作原理假設(shè)場景在該時間間隔期間為靜止的。然而在實際情況下，涉及與動態(tài)場景中的物體邊界一起出現(xiàn)的不可靠的深度測量，尤其是在快速運動時。

提出了若干方案來解決TOF相機的運動偽影負(fù)面影響。它們主要被分類為兩個主要種類：(1)基于像素的校正以及(2)基于流程計算的校正。

在Hussmann,S.、Hermanski,A.、和Edeler,T.(2010)的“Real-time motionsuppression in TOF range images”(IEEE InstrumentationMeasurement TechnologyConference Proceedings,pp.697–701,2010)中，作者介紹了一種補償傳送帶上的物體線性運動的方法。在深度計算之前對線性移動進行測量并且在四個相移圖像上對線性移動進行補償。然而，其方案被限制為在相機視場的范圍內(nèi)的線性運動。

Schmidt,M.的“Analysis Modeling and Dynamic Optimization of 3D Time-of-Flight Imaging Systems”(PhD Thesis,Natural Sciences and for Mathematics ofthe Ruperto-Carola University of Heidelberg,Germany,2011)提出了一種通過分析突發(fā)模式中所需的N倍的四個相移圖像的集合的時間關(guān)系(N為集合的大小)來檢測和校正每個像素的運動。該方法受到ToF相機硬件規(guī)范的約束，其必須提供N倍的四個相移圖像的集合。