[發明專利]一種深度圖像的空洞修復方法以及圖像處理裝置

有效

• 申請號: 201811246775.1
• 申請日: 2018-10-24
• 公開（公告）號: CN109636732B
• 公開（公告）日: 2023-06-23
• 發明（設計）人: 歐勇盛;熊榮;江國來;王志揚;吳新宇;馮偉
• 申請（專利權）人: 深圳先進技術研究院
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50;G06T7/50;G06V10/762;G06V10/764
• 代理公司: 深圳市威世博知識產權代理事務所(普通合伙) 44280
• 代理人: 李慶波

1.一種深度圖像的空洞修復方法，其特征在于，包括：

采集目標區域的深度圖像和彩色圖像，并將所述彩色圖像和所述深度圖像對齊；

確定所述深度圖像中的空洞區域的空洞類型；其中，所述空洞區域包括第一類空洞區域和第二類空洞區域，所述第一類空洞區域的區域范圍屬于同一深度表面，所述第二類空洞區域的區域范圍屬于不同深度表面；

確定所述第二類空洞區域在所述彩色圖像中對應的彩色區域；

獲取所述彩色區域中每個像素的像素值；

基于所述每個像素的像素值對所述彩色區域進行聚類處理，以對所述彩色區域進行分割；

基于所述彩色區域的分割，對所述第二類空洞區域進行相應的分割，以形成對應不同深度表面的多個子區域；

利用所述第一類空洞區域周圍區域的已知深度信息，確定所述第一類空洞區域的深度信息；以及

利用所述子區域的已知深度信息，確定對應所述子區域中未知深度信息的像素的深度信息，以對所述深度圖像進行空洞修復；其中，利用以下公式計算得到待求像素的深度信息：

其中，p為待求像素，q為p的領域像素，Ip和Iq分別為彩色圖像中像素p和像素q的像素值，和為空域高斯函數和顏色高斯函數，D_p為空洞點的深度填充結果，N為設定閾值，其中，||p-q||表示像素p和像素q之間的歐式距離，||I_p-I_q||表示像素p和像素q之間的像素值差值；σ_s是高斯函數中的空間距離標準差，σ_r是像素值差值標準差；其中，在中心像素的5*5領域中，領域中有效像素的數量達到7個以上才予以修復；

獲取采用空洞修復之后的深度圖像；

確定所述深度圖像中還未確定深度信息的目標像素；

利用所述目標像素的鄰域像素深度值的中值來確定所述目標像素的深度值。

2.根據權利要求1所述的深度圖像的空洞修復方法，其特征在于，

所述確定所述深度圖像中的空洞區域的空洞類型的步驟，包括：

確定所述深度圖像中的空洞區域；

獲取包圍所述空洞區域的周圍區域的深度信息；

基于所述周圍區域的深度信息確定所述空洞區域的空洞類型。

3.根據權利要求2所述的深度圖像的空洞修復方法，其特征在于，

所述獲取包圍所述空洞區域的周圍區域的深度信息的步驟，包括：

對所述空洞區域進行形態學膨脹處理，以得到區域變大后的膨脹區域；

將所述膨脹區域和所述空洞區域進行作差處理，以得到所述空洞區域的周圍區域。

4.根據權利要求2所述的深度圖像的空洞修復方法，其特征在于，

所述基于所述周圍區域的深度信息確定所述空洞區域的空洞類型的步驟，包括：

獲取所述周圍區域中每個像素的深度值；

從所述周圍區域查找出具有同一深度值范圍且像素數量大于設定數量的像素集合；

判斷像素集合的數量是否大于或等于2；

若是，確定所述空洞區域為第二類空洞區域；

若否，確定所述空洞區域為第一類空洞區域。

5.根據權利要求4所述的深度圖像的空洞修復方法，其特征在于，

所述從所述周圍區域查找出具有同一深度值范圍且像素數量大于設定數量的像素集合的步驟，具體包括：

基于每個像素的深度值在設定坐標系中繪制直方圖；其中，所述設定坐標系的橫坐標為深度值，縱坐標為像素數量；

所述判斷像素集合的數量是否大于或等于2的步驟，具體為：

判斷所述直方圖中峰值的數量是否大于或等于2。

6.一種圖像處理裝置，其特征在于，包括圖像采集組件、處理器以及存儲器；

其中，所述圖像采集組件用于采集目標區域的深度圖像和彩色圖像，所述存儲器用于存儲計算機程序，所述處理器用于在執行所述計算機程序時，實現如權利要求1-5任一項所述的深度圖像的空洞修復方法。