[發明專利]信息處理設備和信息處理方法

在審

• 申請號: 201610818143.2
• 申請日: 2016-09-12
• 公開（公告）號: CN107818554A
• 公開（公告）日: 2018-03-20
• 發明（設計）人: 顧舒航;陳崇雨;張磊
• 申請（專利權）人: 索尼公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T5/00;G06T3/40;G06T7/55
• 代理公司: 北京集佳知識產權代理有限公司11227
• 代理人: 杜誠,楊鐵成

本公開涉及信息處理設備和信息處理方法。根據一個實施例的信息處理設備包括處理電路，處理電路被配置為獲取彼此具有像素對應關系的第一深度圖像、第二深度圖像和強度圖像，其中第二深度圖像在圖像質量方面優于第一深度圖像。處理電路還被配置為基于第一深度圖像、第二深度圖像和強度圖像進行訓練過程，以得出解析稀疏表示模型的參數，其中該模型對第一深度圖像、第二深度圖像和強度圖像之間的關系進行建模。處理電路被配置為輸出所得出的參數。

技術領域

本公開一般涉及信息處理，更具體地，涉及與導引深度圖像恢復有關的信息處理設備和信息處理方法。

背景技術

深度圖像在諸如機器人科學、人機交互以及增強現實等許多應用中起到重要作用。常規的深度感測主要基于立體測量或激光測量。近來，諸如RGB-D(彩色圖像-深度圖像)攝像機和飛行時間(ToF)距離傳感器等消費級深度感測產品被廣泛應用。然而，由消費級深度傳感器獲得的深度圖像在圖像質量方面可能存在某些不足，例如可能存在分辨率低、噪聲水平高以及深度值丟失(即，深度圖中某些位置的深度值為空(null)，其也稱為深度值的空洞(hole))等問題。引導深度圖像恢復(guided?depth?image?restoration)提供了用于提升深度圖像的質量的手段，其利用強度圖像如RGB圖像的信息來提升深度圖像的圖像質量。

發明內容

對強度圖像和深度圖像之間的關系的建模是引導深度圖像恢復的重要方面，已有的引導深度圖像恢復方法通常基于手動設置的參數來進行上述建模。已有的引導深度圖像恢復方法大致可分為基于濾波的方法、基于優化的方法以及基于字典學習的方法。

例如，通過將RGB值引入濾波權重計算過程，基于濾波的方法已被應用到RGB引導深度恢復問題。然而，這種方式在高精度深度圖像恢復方面還不夠理想，其一般需要手動設置參數來適應不同的圖像。此外，基于濾波的方法通常只對兩個像素之間的關系進行公式化，這種一次關系對于測量復雜的局部結構效果不佳。

另一類方法旨在將深度恢復問題轉化為目標函數，并且將優化解用作恢復結果。這些方法中使用的優化函數通常由手動設置的函數形式和手動設置的參數構成。這些手動設置的函數和參數通常較為簡單，因而不能很好地對退化深度圖像、高質量深度圖像以及強度圖像之間的關系建模。

基于字典學習的方法利用字典原子(dictionary?atom)來對深度圖像塊與強度圖像塊之間的統計依賴關系進行建模。該方法對深度圖像塊和強度圖像塊同時進行稀疏重構，需要使用具有高維特征向量的字典原子。更高的維數意味著更多的原子個數，使得訓練階段和測試階段均存在較大計算負擔。此外，基于字典學習的方法采用數據驅動訓練策略。字典原子被訓練以用同樣的系數表示強度圖像塊和深度圖像塊，由于在測試階段相應高質量深度圖像塊是未知的，因此這種策略導致訓練階段和測試階段中的系數不一致。

針對引導深度圖像恢復的以上問題中的至少一部分問題提出了本發明的實施例。

在下文中給出了關于本發明實施例的簡要概述，以便提供關于本發明的某些方面的基本理解。應當理解，以下概述并不是關于本發明的窮舉性概述。它并不是意圖確定本發明的關鍵或重要部分，也不是意圖限定本發明的范圍。其目的僅僅是以簡化的形式給出某些概念，以此作為稍后論述的更詳細描述的前序。

根據一個實施例，提供一種信息處理設備，其包括處理電路。處理電路被配置為獲取彼此具有像素對應關系的第一深度圖像、第二深度圖像和強度圖像，其中第二深度圖像在圖像質量方面優于第一深度圖像。處理電路還被配置為基于第一深度圖像、第二深度圖像和強度圖像進行訓練過程，以得出解析稀疏表示模型的參數，其中該模型對第一深度圖像、第二深度圖像和強度圖像之間的關系進行建模。處理電路還被配置為輸出所得出的參數。