[發(fā)明專利]飛行時間深度增強

在審

• 申請?zhí)枺?/td>: 201980098894.3
• 申請日: 2019-08-07
• 公開（公告）號: CN114174854A
• 公開（公告）日: 2022-03-11
• 發(fā)明（設計）人: 本杰明·布薩姆;帕特里克·斯魯克坎普;馬蒂厄·奧格;亞尼克·威爾第;阿萊斯·萊昂納迪斯;格雷戈里·斯拉堡
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G01S7/48
• 分類號: G01S7/48;G01S17/86;G01S17/36;G01S17/894;G06T5/50
• 代理公司: 暫無信息
• 代理人: 暫無信息

一種圖像處理系統(tǒng)，用于接收輸入飛行時間深度圖，所述輸入飛行時間深度圖表示圖像中的物體在所述相應圖像中多個像素位置處與相機之間的距離，并用于根據所述圖生成所述圖像的改進的飛行時間深度圖，所述輸入飛行時間深度圖從至少一個相關圖像生成，所述相關圖像表示在給定相移下在所述多個像素位置處發(fā)射光信號與反射光信號之間的重疊，所述系統(tǒng)用于根據所述相應圖像和至少一個相關圖像的顏色表示從所述輸入飛行時間深度圖生成所述改進的飛行時間深度圖。

技術領域

本發(fā)明涉及數碼攝影中的圖像形成，具體地涉及生成圖像的增強的飛行時間深度圖。

背景技術

飛行時間(time-of-flight，ToF)傳感器用于測量相機捕獲的物體與傳感器平面之間的距離。如圖1中的(a)所示，通過用脈沖光源照亮場景，光被場景中的物體反射，并測量光的往返時間。使用測得的往返時間，知道光速，就可以估計反射物體與相機的距離。可以對圖像中的每個像素執(zhí)行此計算。存儲在特定像素位置的距離稱為像素的深度，編碼每個像素的這些值的2D圖像稱為深度圖。

在ToF成像中，深度圖通過使反射光與相移輸入脈沖相關的RAW測量得到，如圖1中的(b)所示。所產生的圖像稱為相關圖像。雖然這種傳感方法在弱光場景下工作良好，而且計算速度比立體視覺等其它深度估計方法更快，但當前的飛行時間傳感器存在多路徑反射等缺點，并且在強環(huán)境光下存在問題。此外，所述相關圖像的空間分辨率非常有限。這最終阻礙了ToF的深度用于2D和3D計算機視覺應用中，在2D和3D計算機視覺應用中，高分辨率、準確度和精度是高質量數據和滿足用戶體驗的關鍵方面。

圖2中的(a)示出了攝影圖像，圖2中的(b)示出了與圖像相對應的對齊ToF深度圖。攝影圖像通過RGB相機形成。在ToF深度圖中，用灰度對距離進行編碼，更亮的區(qū)域更遠。

在201處的虛線圓圈內，小物體已被過度平滑或消除。例如，細黑色線纜的距離沒能正確測量。但是，在202處，即使對于圖像的這個視覺上具有挑戰(zhàn)性的部分，也很好地恢復了梯度。因此，ToF傳感器在該反射區(qū)域提供了正確的梯度測量。經典的深度估計方法很難處理這些無紋理區(qū)域。在204和205所示的實線圓圈中，可以看到沒有正確捕獲暗物體以及遠處物體。此外，低深度圖像分辨率(在該示例中，240×180像素)在圖像對齊之后會有附加信息損失，這可以在圖2中的(b)的右下角203處看到，這進一步約束了ToF深度圖的可用部分。

已經進行了多種嘗試來通過使用另一個輸入源豐富數據或通過數據預處理利用機器學習的功能來克服低質量ToF數據的缺點。

使用深度學習的ToF方法包括Su,Shuochen等人的“深度端到端飛行時間成像(Deep end-to-end time-of-flight imaging)”，2018年IEEE計算機視覺和模式識別會議記錄，其中，提出使用將RAW相關信號映射到深度圖的端到端學習流水線。在合成數據集上訓練網絡。這種方法可以在一定程度上推廣到真實數據。

在另一種方法中，US 9,760,837 B1描述了一種使用飛行時間進行深度估計的方法。該方法利用RAW相關信號并產生相同分辨率的深度輸出。

在Agresti,Gianluca等人的“用于立體聲和ToF數據融合中的置信度信息的深度學習(Deep learning for confidence information in stereo and tof datafusion)”，2017年IEEE計算機視覺國際會議記錄，以及Agresti,Gianluca和PietroZanuttigh的“用于ToF傳感器中的多路徑誤差消除的深度學習(Deep learning formulti-path error removal in ToF sensors)”，2018年歐洲計算機視覺會議記錄中，經典立體視覺與飛行時間傳感融合，以提高兩種合成創(chuàng)建的數據模態(tài)的分辨率和準確度。RGB數據輸入流水線不會被學習，因此RGB的使用只能通過利用預測的立體聲深度圖來間接進行。對ToF數據進行單獨重投影，并使用雙邊濾波器對ToF數據進行上采樣。