[發明專利]深度圖超分辨率補全方法及高質量三維重建方法與系統

有效

• 申請號: 201910079993.9
• 申請日: 2019-01-28
• 公開（公告）號: CN109903372B
• 公開（公告）日: 2021-03-23
• 發明（設計）人: 李建偉;高偉;吳毅紅
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06T17/00
• 分類號: G06T17/00
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

本發明涉及一種深度圖超分辨率補全方法及高質量三維重建方法與系統，所述方法包括：通過SRC?Net從待補全的原始LR深度圖像學習，得到HR深度圖像；基于梯度敏感性檢測，剔除HR深度圖像中的外點，得到處理后的HR深度圖像；通過SRC?Net從HR彩色圖像學習，確定法向圖與邊界圖；對HR彩色圖像做模糊度度量，得到模糊度信息；根據法向圖、邊界圖以及模糊度信息，對HR深度圖像進行優化，得到補全的HR深度圖。本發明基于深度超分辨率與補全網絡、梯度敏感性的外點檢測與剔除算法，以及模糊度和邊界約束深度圖像自適應優化算法，可對原始LR深度圖像進行超分辨率和補全操作，從而可得到補全的HR深度圖，有助于降低室內場景三維重建的難度及提高重建的準確性。

技術領域

本發明涉及圖像處理領域的圖像超分辨率與補全技術，以及計算機視覺領域的三維重建技術，具體涉及一種用于深度圖超分辨率補全方法及高質量三維重建方法與系統。

背景技術

室內場景高精度三維重建是計算機視覺中具有挑戰性的研究課題之一，涉及計算機視覺、計算機圖形學、模式識別、最優化等多個領域的理論與技術。

三維重建技術旨在獲取場景或物體的深度信息，按深度信息的獲取方式可以分為被動式測量和主動式測量兩大類。被動式測量一般利用周圍環境如自然光的反射，使用相機獲取圖像，通過特定算法得到物體的三維空間信息，即基于視覺的三維重建技術。主動式測量是指利用諸如激光、聲波、電磁波等光源或能量源發射至目標物體，通過接受返回的光波來獲取物體的深度信息。主動式測量方法包括：飛行時間法(Time of Flight，TOF)、結構光法(Structured Light)和三角測距法。近年來，消費級RGB-D相機的出現，極大的推動了室內場景三維重建技術。RGB-D相機是一種結合了主動式測量與被動式測量的新型視覺傳感器，既可以拍攝二維彩色圖像又可以主動發射信號至目標物體獲得物體深度信息。常見的消費級RGB-D相機有基于飛行時間法的TOF相機，基于結構光法的微軟Kinect、華碩Xtion、英特爾RealSense等。Newcombe等人提出的KinectFusion算法就是利用Kinect來獲取圖像中各點的深度信息，通過迭代近似最近鄰點(Iterative Closest Point,ICP)算法估計相機姿態，再通過曲面隱函數(Truncated Signed Distance Function,TSDF)迭代進行體數據融合，得到稠密的三維模型。

基于消費級RGB-D相機進行室內場景三維重建，一般存在以下幾個問題：(1)RGB-D相機獲取的深度圖像分辨率小、噪聲大會造成相機姿態估計誤差，并使得物體表面細節難以保持；(2)由于室內場景中存在透明或反射率強的物體，使得RGB-D相機獲取的深度圖存在空洞與缺失；(3)RGB-D相機獲取的深度距離有限，而與之相對應的彩色圖像能提供高分辨、完整的場景信息。這些問題使得基于消費級RGB-D相機的三維重建應用比較受限。

發明內容

為了解決現有技術中的上述問題，即為了提高室內場景重現的準確性以及降低重現難度，本發明提供了一種用于深度圖超分辨率補全方法及高質量三維重建方法與系統。

為解決上述技術問題，本發明提供了如下方案：

一種用于三維重建的深度圖超分辨率補全方法，所述方法包括：

通過深度超分辨率與補全網絡SRC-Net從待補全的原始低分辨率LR深度圖像學習，得到高分辨率HR深度圖像；

基于梯度敏感性檢測，剔除所述HR深度圖像中的外點，得到處理后的HR深度圖像；

通過SRC-Net從HR彩色圖像中學習，確定法向圖與邊界圖；

對HR彩色圖像做模糊度度量，得到模糊度信息；

根據所述法向圖、邊界圖以及模糊度信息，對HR深度圖像進行優化，得到補全的HR深度圖。