[發(fā)明專利]一種基于法向量和高斯權重約束的深度圖像補全方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110574430.4
• 申請日: 2021-05-25
• 公開（公告）號: CN113269689B
• 公開（公告）日: 2023-08-29
• 發(fā)明（設計）人: 楊勐;任東冉;鄭南寧
• 申請（專利權）人: 西安交通大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T7/11;G06T7/136;G06V10/44;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 高博

本發(fā)明公開了一種基于法向量和高斯權重約束的深度圖像補全方法及系統(tǒng)，輸入深度圖像對應的彩色圖像，通過結構預測網(wǎng)絡將深度圖像劃分為平滑區(qū)域和結構區(qū)域；對平滑區(qū)域使用法向量預測網(wǎng)絡輸出法向量特征并構建法向量約束項；對結構區(qū)域使用高斯核在對應彩色圖像中提取高斯結構權重，構成高斯約束項；結合法向量約束項和高斯約束項構建全局優(yōu)化目標方程并加入缺失深度圖像，構建數(shù)據(jù)約束項作為全局優(yōu)化目標方程的輸入數(shù)據(jù)；迭代執(zhí)行全局優(yōu)化目標方程，直到低于設定的提升率或達到最大迭代次數(shù)，輸出深度圖像補全結果。本發(fā)明不僅能夠對內容嚴重缺失的深度圖像進行數(shù)據(jù)補全，并且能夠保證補全結果中結構的準確度和深度值的平滑度。

技術領域

本發(fā)明屬于圖像處理技術領域，具體涉及一種基于法向量和高斯權重約束的深度圖像補全方法及系統(tǒng)。

背景技術

深度傳感器可以有效地提供三維場景中物體的結構與位置信息，其收集的深度數(shù)據(jù)在聯(lián)合彩色圖的輔助下能夠對真實的三維場景進行重建和渲染?；谶@一特性，深度傳感器已經被廣泛的應用在虛擬現(xiàn)實、增強現(xiàn)實、人機交互游戲、無人駕駛和機器人導航等三維感知應用中?，F(xiàn)階段主流深度傳感器使用的三維感知技術主要為結構光技術、飛行時間技術和激光脈沖技術：結構光技術通過發(fā)射紅外光線對物體表面進行掃描，根據(jù)光信號在物體表面的變化來計算物體的距離和結構信息；飛行時間技術通過紅外光信號在發(fā)射器和接收器之間往返的飛行時間來計算測量點的距離信息；激光脈沖技術使用激光器發(fā)射穿透能力強的激光束，并通過雷達定位技術來準確定位光斑的位置，以此來獲取測量點的距離信息。但由于這些技術仍處于不成熟階段，對于光照、距離、折射率等真實環(huán)境因素的抗干擾能力較差，使得最終獲取的深度圖像中含有大量的內容缺失，若將此類缺失的深度數(shù)據(jù)用于三維場景重建中則會導致場景中物體結構的失真和缺失，這對于三維感知應用來說具有嚴重的影響。例如，搭載了低精度激光雷達的自動引導車常常由于深度數(shù)據(jù)的缺失而無法正確躲避小型障礙物。近年來，如何通過計算方法對深度數(shù)據(jù)進行預處理而補全出高質量的深度圖像已經成為了三維計算機視覺領域亟待解決的關鍵問題之一。

現(xiàn)有的深度圖像補全方法主要分為以下幾類：一、借鑒于傳統(tǒng)自然圖像修補方法的補全方法。由于深度圖像和自然圖像的特性具有本質的不同，且深度圖像的缺失狀況通常要嚴重于自然圖像，因此完全并準確地補全缺失深度數(shù)據(jù)對此類方法來說是困難的。二、融合多視角失真深度圖像的補全算法。此類方法通過對同一場景中不同視角的深度圖像進行采集，再通過數(shù)據(jù)配準和表面拼合算法將多視角失真圖像重建為高質量的單視角深度圖像。此類方法對深度圖像的收集條件較為苛刻，且不適用于單幅缺失深度圖像的補全任務。三、基于神經網(wǎng)絡技術的補全方法。此類方法將大量的深度數(shù)據(jù)和引導彩色圖像作為輸入，使用神經網(wǎng)絡技術進行特征提取和模型訓練，最終通過擬合的網(wǎng)絡模型對缺失的深度數(shù)據(jù)進行補全。此類方法依賴于缺失深度圖像中的原始數(shù)據(jù)，當深度數(shù)據(jù)缺失嚴重時，該類方法的補全結果將會出現(xiàn)較大的誤差。

深度圖像通常由場景中的平滑區(qū)域和物體結構組成，現(xiàn)存的大量深度圖像補全方法僅專注于平滑區(qū)域的深度信息補全，而忽視了深度補全結果中物體結構的準確度。例如，基于神經網(wǎng)絡技術的補全方法作為目前主流深度圖像補全技術，傾向于對已有的深度數(shù)據(jù)進行復制和插值，而物體結構相較于平滑區(qū)域通常只在場景中占據(jù)較小比例，從而導致該類方法的補全結果中存在大量失真結構信息。而結構信息對于三維場景中的物體重建至關重要，尤其是對于體感游戲等需要高精度三維結構的室內三維感知應用。因此，如何高精度地補全深度圖像中的結構信息已經成為了深度補全問題的關鍵。

發(fā)明內容

本發(fā)明所要解決的技術問題在于針對上述現(xiàn)有技術中的不足，提供一種基于法向量和高斯權重約束的深度圖像補全方法及系統(tǒng)，能夠在深度圖像數(shù)據(jù)嚴重缺失的情況下，實現(xiàn)對深度圖像的準確補全，克服現(xiàn)有深度補全工作中物體結構信息不準確的缺點。

本發(fā)明采用以下技術方案：

一種基于法向量和高斯權重約束的深度圖像補全方法，包括以下步驟：

S1、輸入深度圖像對應的彩色圖像，通過結構預測網(wǎng)絡將深度圖像劃分為平滑區(qū)域和結構區(qū)域；