[發明專利]一種單幅圖像深度恢復方法和系統

有效

• 申請號: 201811268787.4
• 申請日: 2018-10-29
• 公開（公告）號: CN109377524B
• 公開（公告）日: 2021-02-23
• 發明（設計）人: 王吉華;張全英
• 申請（專利權）人: 山東師范大學
• 主分類號: G06T7/50
• 分類號: G06T7/50
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 黃海麗

本發明公開了一種單幅圖像深度恢復方法和系統，所述方法包括：接收單幅彩色測試圖像，在彩色?深度圖像數據庫中檢索與所述測試圖像相似的多幅彩色圖像，并獲取相應的深度圖像，得到訓練圖像對；計算所述測試圖像與每個訓練圖像對中彩色圖像像素之間的映射關系；根據每個訓練圖像對中的深度圖像和所述映射關系，獲取多個深度梯度場；基于所述多個深度梯度場計算所述測試圖像相應的深度圖像。本發明不需要建立大量的模型參數，實現簡單且應用范圍廣。

技術領域

本發明屬于計算機視覺技術領域，尤其涉及一種單幅圖像深度恢復方法和系統。

背景技術

單幅圖像的深度恢復是計算機視覺領域的重要研究課題，可以應用在三維建模、醫學圖像、機器人導航、無人機駕駛測障、目標檢測與跟蹤、虛擬漫游等方面。目前在深度信息估計方面主要的方法有：

主動照明方法采取附加場景照明輔助深度估計，深度測定是依據衰減的投射光或者是與預測模型的差異。編碼孔徑方法是改進相機鏡頭，使得模糊核對于去模糊更可靠。但以上方法需要改進硬件或增加外界設置。Saxena等人將圖像的顏色、紋理、形狀等特征，抽象為馬爾科夫隨機場模型，通過建立特征與深度之間的函數關系，通過馬爾科夫隨機場和吉布斯場的等價性，估計出圖像的深度。但方法模型的建立非常復雜，并需要大量的先驗知識，實際應用領域受到限制。 Zhuo等人以邊緣位置的局部模糊作為初始值，進行離焦圖像的深度恢復，將此值擴展至整幅圖像，得到完整的深度信息，此方法模糊擴散方法復雜，效率較低，實際應用也受到限制。Ma等人用模糊信息估計特征—輪廓銳度算法提取單視點圖像深度信息，用梯度輪廓的銳度參數表征模糊信息程度，同時加入邊緣空間信息，對圖像的輪廓進行提取，獲取圖像深度圖，此方法算法提取比較復雜，實際應用領域也受到限制。

發明內容

為克服上述現有技術存在的模型建立復雜，應用領域受限的不足，本發明提供了一種單幅圖像深度恢復方法和系統，通過檢索的方法獲取與待恢復圖像相似的彩色圖像和深度圖像，以待恢復圖像和彩色圖像的映射關系為橋梁，獲取待恢復圖像相應的深度梯度場，并對該深度梯度場進行一系列后處理獲取最終梯度圖像。該方法算法簡單且無需建立復雜的數學模型，能夠針對單幅彩色圖像進行快速恢復。

為實現上述目的，本公開的一個或多個實施例采用如下技術方案：

一種單幅圖像深度恢復方法，包括以下步驟：

接收單幅彩色測試圖像，在彩色-深度圖像數據庫中檢索與所述測試圖像相似的多幅彩色圖像，并獲取相應的深度圖像，得到訓練圖像對；

計算所述測試圖像與每個訓練圖像對中彩色圖像像素之間的映射關系；

根據每個訓練圖像對中的深度圖像和所述映射關系，獲取多個深度梯度；

基于所述多個深度梯度計算所述測試圖像相應的深度圖像。

進一步地，在檢索與所述測試圖像相似的多幅圖像前，還包括：將彩色-深度圖像數據庫中的彩色圖像和所述測試圖像均進行亮度重映射。

進一步地，所述檢索與所述測試圖像相似的多幅彩色圖像包括：

基于金字塔方向梯度直方圖，計算彩色-深度圖像數據庫中彩色圖像與所述測試圖像之間的相似度；選擇相似度超過一定閾值的彩色圖像。

進一步地，所述計算所述測試圖像與每個訓練圖像對中彩色圖像像素之間的映射關系用翹曲函數表示：

其中，m_k(p)為翹曲函數，f_I(p)表示測試圖像I在像素p處的特征向量，f_k(p) 表示第k個訓練圖像對中彩色圖像在像素p處的特征向量，k＝1,2,…K。

進一步地，所述獲取多個深度梯度包括：