[發明專利]一種深度圖像缺失像素的修復方法及系統

有效

• 申請號: 201510875268.4
• 申請日: 2015-12-01
• 公開（公告）號: CN105551006B
• 公開（公告）日: 2018-06-05
• 發明（設計）人: 于仕琪;李炎然
• 申請（專利權）人: 深圳大學
• 主分類號: G06T5/10
• 分類號: G06T5/10;G06T5/00;G06T3/00
• 代理公司: 深圳青年人專利商標代理有限公司 44350
• 代理人: 傅俏梅

本發明適用計算機技術領域，提供了一種深度圖像缺失像素的修復方法及系統，所述方法包括：使用M個濾波器F_i對表示原始深度圖像的矩陣D進行濾波，得到M個數值矩陣H_i，所述M為一預設的正整數值，i＝0,1,…,M?1；對所述M個數值矩陣H_i中的所有元素進行降幅處理，得到降幅后的M個數值矩陣N_i；通過連續求和公式計算矩陣R，使用所述矩陣R替換表示所述原始深度圖像的矩陣D，以完成所述原始深度圖像的修復，其中，表示F_i的轉置，*為卷積操作符，從而可將圖像中反映的深度信息(即物體的距離信息)誤差大大降低。

技術領域

本發明屬于計算機技術領域，尤其涉及一種深度圖像缺失像素的修復方法及系統。

背景技術

獲取物體上各點相對于攝像機的距離是計算機視覺系統的重要任務之一，物體上各點相對于攝像機的距離可以用深度圖來表示，即深度圖中的每一個像素值表示物體上某一點與攝像機之間的距離。微軟Kinect和英特爾RealSense等傳感器可以拍攝出深度圖，這一類傳感器會主動發射紅外光，然后傳感器通過捕獲反射的紅外光來測量距離。如果物體是黑色，則光線吸收后無反射，傳感器捕獲不到反射光線，也就無法測量距離。此外，如果物體表面是異常光滑的鏡面，光線也可能被反射到其他方向，傳感器無法捕捉而形成圖像缺失。除了物體表面特性的原因，還有一類空洞形成的原因是物體自遮擋。傳感器上的光源發射裝置和捕獲裝置不在同一個位置，所以有些區域因為遮擋，無法被發射的光源照射到，也會造成圖像缺失。

現有技術主要采用相鄰像素填充方法以及線性插值方法對缺失區域進行填充。相鄰像素填充方法通過找到缺失像素最近的非缺失像素，用非缺失像素值來填充，這種方法完全不能刻畫缺失區域的真實情況，會造成修復區域跟真實情況差別比較大。而采用線性插值方法填充缺失區域先提取缺失像素四周的多個非缺失像素，用這些非缺失像素的線性插值(即加權求和)來計算缺失像素值，該方法可以使得本來不平滑的區域變成平滑區域，然而仍然不能描述真實場景的深度信息，深度信息準確度不高。

發明內容

本發明實施例的目的在于提供一種深度圖像缺失像素的修復方法及系統，旨在解決由于現有技術無法提供一種高準確度的深度圖像缺失像素的修復方法，導致修復的圖像深度信息準確度不高的問題。

本發明實施例是這樣實現的，一種深度圖像缺失像素的修復方法，所述方法包括下述步驟：

使用M個濾波器F_i對表示原始深度圖像的矩陣D進行濾波，得到M個數值矩陣H_i，所述M為一預設的正整數值，i＝0,1,…,M-1；

對所述M個數值矩陣H_i中的所有元素進行降幅處理，得到降幅后的M個數值矩陣N_i；

通過連續求和公式計算矩陣R，使用所述矩陣R替換表示所述原始深度圖像的矩陣D，以完成所述原始深度圖像的修復，其中，表示F_i的轉置，*為卷積操作符。

本發明實施例的另一目的在于提供一種深度圖像缺失像素的修復系統，所述系統包括：

濾波單元，用于使用M個濾波器F_i對表示原始深度圖像的矩陣D進行濾波，得到M個數值矩陣H_i，所述M為一預設的正整數值，i＝0,1,…,M-1；

降幅處理單元，用于對所述M個數值矩陣H_i中的所有元素進行降幅處理，得到降幅后的M個數值矩陣N_i；以及

計算替換單元，用于通過連續求和公式計算矩陣R，使用所述矩陣R替換表示所述原始深度圖像的矩陣D，以完成所述原始深度圖像的修復，其中，表示F_i的轉置，*為卷積操作符。