[發明專利]對感測到的測量值進行融合的方法和系統

有效

• 申請號: 201680068669.1
• 申請日: 2016-12-14
• 公開（公告）號: CN108369728B
• 公開（公告）日: 2021-08-13
• 發明（設計）人: U·卡米洛夫;P·T·布福諾斯
• 申請（專利權）人: 三菱電機株式會社
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 黃綸偉

一種對感測到的測量值進行融合的方法和系統，該系統包括：深度傳感器，該深度傳感器用于獲取場景的深度測量值作為幀序列；以及攝像機，該攝像機被配置成獲取場景的強度測量值作為圖像序列，其中，深度傳感器的分辨率低于攝像機的分辨率。處理器在深度測量值的多個時間相鄰幀中搜索相似片段，利用強度測量值將相似片段分組成塊，利用事前約束提高所述塊的分辨率以獲得分辨率提高塊，然后從分辨率提高塊構建分辨率高于傳感器的分辨率的深度圖像。

技術領域

本發明涉及感測系統和方法，并且更具體地，涉及融合由低分辨率深度傳感器和高分辨率光學攝像機輸出的感測到的測量值。

背景技術

計算機視覺應用中的一個重要挑戰是獲取場景的高分辨率深度圖。許多常見任務(如對象重建、機器人導航以及汽車駕駛員輔助)可以通過用高分辨率深度圖補償來自光學攝像機的強度數據而得到顯著改善。但是，利用當前的傳感器技術，直接獲取高分辨率深度圖非常昂貴。

這種傳感器的成本和有限的可用性對計算機視覺系統的能力施加了很大的限制，并妨礙了采用依賴于高分辨率深度圖的方法。因此，許多方法提供數值計算上的替代方案來提高所測量的深度數據的空間分辨率。

用于改善深度數據的空間分辨率的最流行且廣泛使用的類的技術之一是引導深度超分辨(superresolution)。這些技術聯合地獲取，利用低分辨率深度傳感器獲取場景的深度圖，并且利用高分辨率光學攝像機獲取光學圖像。攝像機所獲取的數據隨后用于對低分辨率深度圖進行超分辨處理。這些技術利用兩種模態共享共同特征(諸如邊緣和接合點(joint)紋理變化)的特性。因此，光學攝像機數據中的這些特征提供了顯著增強經超分辨處理的深度圖的信息和引導。

過去，大多數這些方法在單個光學圖像和低分辨率深度圖上操作。然而，針對這種方法和系統的大多數實際應用，通常利用光學攝像機獲取視頻和深度圖的一系列快照。

一種方法利用馬爾科夫隨機場(MRF:Markov Random Fields)來建模邊緣在深度和強度上的共現。另選方法基于聯合雙邊濾波(joint bilaterial filtering)，其中，使用強度來設定濾波器的權重。雙邊濾波可以通過并入深度的局部統計來細化。在另一方法中，使用測地距離來確定權重。該方法可以擴展成動態序列，以補償深度和強度傳感器中的不同數據速率。引導圖像濾波方法可以進一步改善邊緣保存。

最近以來，稀疏促進正則化(sparsity-promoting regularization)(其是壓縮感測的基本構成要素)在深度超分辨的質量方面提供了更顯著的改進。例如，通過結合詞典學習和稀疏編碼法已經證明了改進。另一種方法依賴于加權全一般化變化(TGV：Totalgeneralized Variation)正則化，以便在深度上施加逐段多項式結構。

常規MRF方法可以以分析形式與促進深度的變換域稀疏度的附加項相結合。一種方法使用MRF模型來聯合分割對象并恢復更高質量的深度。深度超分辨可以通過從略微偏移的視點拍攝靜態場景的幾個快照并利用深度的加權梯度的稀疏性合并測量值來執行。

許多自然圖像包含重復的類似圖案和紋理。現有技術的圖像去噪方法(如非局部均值(NLM)以及塊匹配和3D濾波(BM3D))通過將圖像作為結構化集合的片段進行處理來采取這種冗余的優點。NLM的公式化可以利用特定NLM正則化項(regularizer)來擴展至更一般的逆問題。類似地，可以將變型的方法用于一般的基于BM3D的圖像重建。在引導深度超分辨的背景下，已使用NLM來減少估計深度中的噪聲量。另一種方法將塊匹配過程與低秩約束相組合以增強單個深度圖像的分辨率。

發明內容

深度傳感器的空間分辨率通常比常規光學攝像機的空間分辨率低得多。本發明的實施方式使用更高分辨率的光學強度圖像作為邊信息(side information)來提高深度圖像的分辨率。更具體地說，這些實施方式對由低分辨率深度傳感器和高分辨率光學攝像機輸出的傳感器測量值進行融合。