[發明專利]一種基于多視紅外的稠密點云生成方法

在審

• 申請號: 202210290383.5
• 申請日: 2022-03-23
• 公開（公告）號: CN114723915A
• 公開（公告）日: 2022-07-08
• 發明（設計）人: 高大化;李太行;朱浩男;馬賽;李文鑫;張一諾
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06T17/20
• 分類號: G06T17/20;G06N3/08;G06N3/04
• 代理公司: 西安嘉思特知識產權代理事務所(普通合伙) 61230
• 代理人: 王海棟

本發明涉及一種基于多視紅外的稠密點云生成方法，包括：獲取紅外相機的內參和外參；使用多目低分辨率紅外相機與高分辨率紅外相機得到多目第一低分辨率紅外圖像和第一高分辨率紅外圖像；構建數據集；將數據集輸入至待訓練的稠密點云生成網絡，直至損失函數收斂為止，得到訓練好的稠密點云生成網絡；將待生成的多目低分辨率紅外圖像輸入至訓練好的稠密點云生成網絡，得到多目低分辨率紅外圖像的視差圖和高分辨率紅外圖像，以生成稠密點云。本發明采用了多目純視覺方案，該方案的抗干擾能力更強，可以規避激光雷達互相干擾、主動紅外等測距方案不能應用于室外等強光環境的局限性，使得本發明提高了所構建系統的魯棒性。

技術領域

本發明屬于紅外圖像處理位技術領域，涉及一種基于多視紅外的稠密點云生成方法。

背景技術

點云數據用于描述景物三維外觀的，通過使用在某一三維坐標系下所有點的數據，數據中包括了每個點的三維坐標X、Y、Z以及強度等信息。點云數據的采集有多種方式，可以通過激光雷達、RGB-D相機、雙目視覺等方法獲得。點云數據含有大量的三維結構信息，因此在建模、測繪、自動駕駛、醫療等方面有著廣泛的應用。點云數據可以根據點云數據中點的密度分為稀疏點云和稠密點云，而稠密點云中點的密度高，所以更有利于提高下游任務的效果處理。近年來，人工智能發展火熱，深度學習算法在各方面有逐步取代傳統算法的趨勢，深度學習算法在立體匹配和雙目圖像超分辨率重建任務上都有著卓越的表現。而多視圖像中含有景物的三維關系，同時相比單目圖像采樣密度更高，因此含有更豐富的信息，可以改善生成點云的效果。但是，由于輸入多視圖像存在視差、色差、分辨率等差異，如何解決多視圖像間的對齊配準問題是使用深度學習神經網絡算法時所面臨的一個挑戰。解決多視圖像的配準有益于充分發掘多視圖像中的信息，提高點云生成的效果。

成都航維智芯科技有限公司在其申請的專利文獻“機載激光雷達點云生成方法及系統”(專利申請專利號：2021113368882，申請公布號：CN113933861A)中提出了一種機載激光雷達點云生成方法。該方法實現的步驟是，1、獲取當前計算周期內的GNSS數據和IMU數據，作為第一數據；2、根據所述第一數據和前一計算周期內優化后的第一位姿信息，獲得載體在當前計算周期的第一位姿信息；3、獲取當前掃描周期內的激光雷達數據，作為第二數據，將所述第二數據和最新的局部地圖進行匹配，獲得載體在當前掃描周期的第二位姿信息；4、在當前濾波周期內對最新的第一位姿信息和最新的第二位姿信息進行融合濾波，獲得當前濾波周期對應的第三位姿信息和位姿信息誤差；5、根據最新的位姿信息誤差對當前計算周期的第一位姿信息進行優化，得到當前計算周期內優化后的第一位姿信息；6、對所述第三位姿信息以及第二數據進行空間變換，獲得當前濾波周期內的點云數據，根據多個濾波周期內的點云數據生成局部地圖。

但是，該方法存在的不足之處是，由于該方法采用激光雷達作為點云生成的采集設備，一方面設備成本較高且設備間容易受到干擾，另一方面若需要獲得點云其他信息如紅外強度信息則需要配準后方能使用且分辨率上限受限于設備最高分辨率。

發明內容

為了解決現有技術中存在的上述問題，本發明提供了一種基于多視紅外的稠密點云生成方法。本發明要解決的技術問題通過以下技術方案實現：

本發明實施例提供了一種基于多視紅外的稠密點云生成方法，所述稠密點云生成方法包括：

獲取多目低分辨率紅外相機與高分辨率紅外相機的內參和外參；

使用多目低分辨率紅外相機與高分辨率紅外相機得到多目第一低分辨率紅外圖像和第一高分辨率紅外圖像；

構建數據集，所述數據集包括多目低分辨率紅外相機與高分辨率紅外相機的內參和外參、多目第二低分辨率紅外圖像和第二高分辨率紅外圖像，所述第二低分辨率紅外圖像為通過截取所述第一低分辨率紅外圖像得到，所述第二高分辨率紅外圖像為通過截取所述第一高分辨率紅外圖像得到；