[發明專利]一種多頻譜圖像監督的紅外圖像深度估計方法

在審

• 申請號: 202111531301.3
• 申請日: 2021-12-14
• 公開（公告）號: CN114494386A
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 孫正興;劉胡偉;孫蘊瀚;張巍
• 申請（專利權）人: 南京大學
• 主分類號: G06T7/55
• 分類號: G06T7/55;G06N3/04;G06N3/08
• 代理公司: 江蘇圣典律師事務所 32237
• 代理人: 胡建華

本發明公開了一種多頻譜圖像監督的紅外圖像深度估計方法，包括以下步驟：1)構建頻譜轉換模塊：根據多頻譜圖像，得到頻譜轉換圖像；2)構建頻譜轉換損失模塊：根據紅外圖像，得到視差；3)構建輔助損失模塊：利用步驟得到的頻譜轉換圖像和視差通過圖像翹曲，計算輔助損失，并利用該損失迭代優化頻譜轉換網絡模型。4)構建深度估計損失模塊：利用得到的視差進行圖像翹曲，計算深度估計損失，并利用該損失迭代優化深度估計網絡模型；5)構建輔助損失模塊：利用得到的頻譜轉換圖像和視差通過圖像翹曲，計算輔助損失，并利用該損失迭代優化頻譜轉換網絡模型。6)整體框架訓練：包括數據預處理，模型框架預熱，訓練以及測試四個階段。

技術領域

本發明涉及一種紅外圖像深度估計方法，屬于計算機圖形學技術領域，具體地說是一種多頻譜圖像監督的紅外圖像深度估計方法。

背景技術

對許多大型和復雜的工程，人們迫切的需要一種能夠長期對工程質量監控并定期檢測工程缺陷的低成本解決方案，來保障工程安全并滿足日常維護的需求，因此巡檢機器人便受到了許多人的關注。巡檢機器人通過各類傳感器獲取多模態信息來完成一系列的二維或三維任務，例如二維任務中缺陷檢測以及三維任務中三維重建。而深度信息在這些任務中起到了重要作用。

考慮到紅外相機有著環境不敏感的特性，無論外部光源存在與否，紅外相機都可以直接測量物體和環境的紅外輻射，因此，利用單目紅外相機獲取的紅外圖像來得到深度信息有著比其他方法更加突出的優點。例如，相比于利用價格昂貴，且在面對復雜場景時會有不同的缺陷的激光雷達、帶結構光的深度相機等主動式傳感器，利用紅外相機這種基于標準成像技術的被動式傳感器價格更加低廉、重量更輕、適應性更強，可以更靈活的在巡檢機器人上部署，并且能夠適應不同復雜環境；相比于在夜間環境和低光照甚至是零光照環境無法很好的進行預測的，利用了單目RGB相機獲取的RGB圖像結合深度估計技術的方式得到深度信息的方法，如文獻1：Godard C,Aodha O M,Firman M,et al.Digging Into Self-Supervised Monocular Depth Estimation.International Conference on ComputerVision，2019，3827-3837.，有著環境不敏感特性的紅外相機可以更好的獲取圖像中物體的幾何信息，更好的利用深度估計技術進行圖像深度估計，可以克服可見光頻譜在弱光照環境無法很好進行深度估計的缺點。

目前，從單張紅外圖像中得到深度信息的紅外圖像深度估計方法是采用監督的方式，例如，文獻2：Wang，Q.，Zhao，H.,Hu,Z.et al.Discrete convolutional CRF networksfor depth estimation from monocular infrared images.Int.J.Mach.Learn.Cyber.12，2021，187–200.，不過這種需要深度標簽的方法增加了數據集的獲取代價和成本。在不使用深度標簽的情況下，僅僅從單張紅外圖像是難以得到深度信息的，此時希望利用更加便宜的RGB相機來產生監督信號。但是，多頻譜監督的紅外圖像深度估計有著頻譜間存在著較大的外觀差異，無法直接將兩者匹配的問題。因此本文提出了一種多頻譜圖像監督的紅外圖像深度估計方法。該方法可以在沒有深度標簽監督的條件下利用多模態的信息作為監督信號，從單張紅外圖像中得到深度信息。

發明內容

發明目的：本發明所要解決的技術問題是針對現有技術的不足，提供了一種多頻譜圖像監督的紅外圖像深度估計方法，該方法可以較為準確的估計單張紅外圖像的深度信息。

為了解決上述技術問題，本發明公開了一種多頻譜圖像監督的紅外圖像深度方法，包括以下步驟：