[發明專利]一種高分辨率深度圖獲取方法及系統

有效

• 申請號: 202011303569.7
• 申請日: 2020-11-19
• 公開（公告）號: CN112489103B
• 公開（公告）日: 2022-03-08
• 發明（設計）人: 戶磊;季棟;薛遠;曹天宇;王亞運;李緒琴
• 申請（專利權）人: 北京的盧深視科技有限公司;合肥的盧深視科技有限公司
• 主分類號: G06T7/55
• 分類號: G06T7/55;G06N3/04;G06N3/08;G06T3/40;G06T7/11
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 程琛

本發明提供一種高分辨率深度圖獲取方法及系統，方法包括：將待處理低分辨率深度圖分別輸入到神經網絡模型的主干網絡和支路優化網絡中，分別獲取高級特征圖和淺層特征圖；將高級特征圖和淺層特征圖同時輸入到神經網絡模型的圖像重建模塊中，獲取高分辨率深度圖；其中，神經網絡模型基于低分辨率深度圖樣本和對應的高分辨率深度圖標簽進行訓練得到。本發明的神經網絡模型中的主干網絡為基于稠密連接網絡思想搭建的深層網絡，可多次特征復用，提高了特征的利用率；由于深度圖本身可利用的特征較少，支路優化網絡提取圖像的淺層特征，為后續的圖像重建模塊提供了有效的圖像全局先驗信息，使得神經網絡模型輸出的HR深度圖的分辨率更高。

技術領域

本發明涉及圖像處理技術領域，尤其涉及一種高分辨率深度圖獲取方法及系統。

背景技術

低分辨率圖像一般具有邊緣模糊、細節缺失等缺點，當一張低分辨率的圖像被放大時，圖像細節部分往往無法很好的重現，因此，超分辨率重建的研究方向便應運而生。超分辨率重建技術旨在對于一組低分辨率、低質量的圖像(或視頻序列)經過算法處理得到高質量、高分辨率的圖像。圖像超分辨率重建的應用領域非常廣泛，在監控安防、計算機視覺、自動駕駛、醫療影像、衛星遙感等領域有著廣闊的應用前景。

在三維視覺領域，深度圖是二維圖像到三維表示的橋梁，和常見的彩色圖不同，深度圖中保存的像素值為物體距離相機的距離。因此，在獲取了深度圖之后便可以計算出物體距相機的遠近，從而可以進行三維重建或三維建模等工作，將二維圖像中的物體在三維空間重新表示。

但是受到相機硬件設備等條件的限制，往往無法直接采集高分辨率的深度圖，因此通過超分辨率重建將采集得到的低分辨率深度圖放大得到高質量的高分辨率深度圖很有必要。

由于受到硬件條件的制約，為了獲取更高分辨率的深度圖表示，在目前行業內若使用相機直接采集較高分辨率的深度圖比較耗費硬件資源，對于相機系統的穩定性和實時性能要求較高。

因此，亟需一種對硬件條件要求不高的、且高質量的高分辨率深度圖獲取方法。

發明內容

本發明實施例提供一種高分辨率深度圖獲取方法及系統，用以解決現有技術中對于獲取高分辨率深度圖對硬件條件要求較高的缺陷。

本發明實施例提供一種高分辨率深度圖獲取方法，包括：

將待處理低分辨率深度圖分別輸入到神經網絡模型的主干網絡和支路優化網絡中，分別獲取高級特征圖和淺層特征圖；

將所述高級特征圖和所述淺層特征圖同時輸入到所述神經網絡模型的圖像重建模塊中，獲取高分辨率深度圖；

其中，所述神經網絡模型基于低分辨率深度圖樣本和對應的高分辨率深度圖標簽進行訓練得到。

根據本發明實施例提供的一種高分辨率深度圖獲取方法，所述主干網絡包括低級特征提取模塊、高級特征提取模塊和上采樣模塊，相應地，所述高級特征圖具體通過如下方式獲取：

將所述待處理低分辨率深度圖輸入所述低級特征提取模塊，獲取低級特征圖；

將所述低級特征圖輸入所述高級特征提取模塊，獲取初始高級特征圖；

將所述初始高級特征圖輸入所述上采樣模塊，進行高和寬的上采樣處理，獲取所述高級特征圖。

根據本發明實施例提供的一種高分辨率深度圖獲取方法，所述支路優化網絡包括雙三次采樣層和淺層網絡，相應地，所述淺層特征圖具體通過如下方式獲得：

將所述低分辨率深度圖輸入到所述雙三次采樣層中，獲取采樣特征；

將所述采樣特征輸入到所述淺層網絡中，獲取所述淺層特征圖。