[發明專利]深度圖像空洞填充方法、裝置、電子設備及其存儲介質

有效

• 申請號: 201911379112.1
• 申請日: 2019-12-27
• 公開（公告）號: CN111179195B
• 公開（公告）日: 2023-05-30
• 發明（設計）人: 汪霖;張蕊;廖成峰;齊曉斐;張萬緒;姜博;閆曾輝;劉成;孟娜
• 申請（專利權）人: 西北大學
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 西安嘉思特知識產權代理事務所(普通合伙) 61230
• 代理人: 尹曉雪

本發明公開了一種深度圖像空洞填充方法、裝置、電子設備及其存儲介質，深度圖像空洞填充方法包括：獲取深度圖像和灰度圖像；獲取所述深度圖像中的空洞點；獲取所述深度圖像中的非空洞點；利用所述灰度圖像計算所述深度圖像中空洞點和非空洞點的相似度權重；根據所述相似度權重和所述深度圖像中非空洞點的深度值對所述空洞點進行估計得到所述空洞點填充后的深度值，以實現深度圖像的空洞填充。本發明提供的深度圖像空洞填充方法，利用灰度圖像計算深度圖像中空洞點和非空洞點的相似度權重，通過該相似度權利和深度圖像中非空洞點的深度值對空洞點進行填充，以改善物體邊緣及較大區域空洞填充的效果，而且效果明顯。

技術領域

本發明屬于圖像處理技術領域，具體涉及一種深度圖像空洞填充方法、裝置、電子設備及其存儲介質。

背景技術

隨著多媒體技術的快速發展，用2D描述的真實世界已不能滿足人們日益增長的視覺需求。在3D視頻中，深度是核心關鍵信息。目前，深度圖像可以通過深度相機和深度估計方法從多視點視頻數據中獲取。

由于受遮擋、測量范圍限制等因素影響，深度相機例如Kinect相機所獲取的深度圖像存在空洞，為了有效抑制其對后續圖像處理質量的影響，需要對所獲取的深度圖像進行空洞修復，以改善和提高所獲取深度圖像的質量。目前基于深度相機的深度圖像空洞填充方法主要可以分為兩類，一類是基于聯合雙邊濾波方法的深度圖像空洞填充方法，該類方法能夠在保持原有邊緣的同時填充較小的空洞；另一類是基于非空洞區域深度值擴散的深度圖像空洞區域填充方法，比如基于中值濾波或高斯濾波的深度圖像空洞填充方法，該類方法對于較小空洞的填充效果比較好。

但是，上述深度圖像空洞填充方法對于較大空洞填充時均會產生模糊現象，尤其對于物體邊緣的空洞填充，效果更差，導致邊緣更加模糊。

發明內容

為了解決現有技術中存在的上述問題，本發明提供了一種深度圖像空洞填充方法、裝置、電子設備及其存儲介質。

本發明實施例提供了一種深度圖像空洞填充方法，該方法包括：

獲取深度圖像和灰度圖像；

獲取所述深度圖像中的空洞點；

根據所述深度圖像中的空洞點獲取所述深度圖像中的非空洞點；

利用所述灰度圖像計算所述深度圖像中空洞點和非空洞點的相似度權重；

根據所述相似度權重和所述深度圖像中非空洞點的深度值對所述空洞點進行估計得到所述空洞點填充后的深度值，以實現深度圖像的空洞填充。

在本發明的一個實施例中，獲取所述深度圖像中的空洞點之前，還包括：

根據預設配準方法對所述深度圖像進行配準得到配準后的深度圖像，從所述配準后的深度圖像中獲取所述空洞點。

在本發明的一個實施例中，根據所述深度圖像中的空洞點獲取所述深度圖像中的非空洞點，包括：

以所述深度圖像中的空洞點為中心，獲取大小為(2p+1)×(2p+1)的第一方形鄰域，p為大于14的整數；

從所述第一方形鄰域中獲取所述深度圖像中的非空洞點。

在本發明的一個實施例中，利用所述灰度圖像計算所述深度圖像中空洞點和非空洞點的相似度權重，包括：

獲取所述灰度圖像中的空洞點和非空洞點；

計算所述灰度圖像中空洞點和非空洞點的灰度值相似度權重；

計算所述深度圖像中空洞點和非空洞點的距離權重；

根據所述灰度值相似度權重、所述距離權重得到述深度圖像中空洞點和非空洞點的相似度權重。