[發明專利]結合語義信息的立體影像密集匹配方法及系統

有效

• 申請號: 202110057385.5
• 申請日: 2021-01-15
• 公開（公告）號: CN112767421B
• 公開（公告）日: 2023-09-15
• 發明（設計）人: 洪競科;肖長林;黃旭
• 申請（專利權）人: 重慶大學
• 主分類號: G06T7/12
• 分類號: G06T7/12
• 代理公司: 無錫承果知識產權代理有限公司 32373
• 代理人: 張亮

本申請提供一種立體影像密集匹配方法及系統，方法包括：確定基準影像和參考影像，并將所述基準影像及參考影像重采樣化為核線立體影像；基于基準影像及參考影像重采樣化后的核線立體影像，構建密集匹配數據項Esubgt;match_data/subgt;、密集匹配平滑項Esubgt;match_smooth/subgt;、語義分割數據項Esubgt;semantic_data/subgt;、語義分割平滑項Esubgt;semantic_smooth/subgt;及密集匹配和語義分割的互相關項Esubgt;correlation/subgt;；根據所述密集匹配數據項Esubgt;match_data/subgt;、密集匹配平滑項Esubgt;match_smooth/subgt;、語義分割數據項Esubgt;semantic_data/subgt;、語義分割平滑項Esubgt;semantic_smooth/subgt;及密集匹配和語義分割的互相關項Esubgt;correlation/subgt;確定全局能量函數，并求取其最優解，得到語義三維重建結果，本方案，在密集匹配中加入語義分割約束，在語義分割中加入密集匹配的高程信息，有效提高密集匹配和語義分割的精度，從而保證了三維重建的精度。

技術領域

本申請涉及立體影像密集匹配技術領域，尤其涉及一種結合語義信息的立體影像密集匹配方法及系統。

背景技術

立體影像密集匹配是一種在立體影像之間，逐像素地尋找同名點的過程。立體影像密集匹配是計算機視覺和攝影測量領域的熱點研發課題，在高精度三維重建行業，如測繪制圖、國防軍事、無人自動駕駛、無人機自動巡航、3D打印、虛擬現實、導航定位等有著廣泛的應用。

立體影像密集匹配一般是通過影像的灰度特征相似性，來尋找同名像素。但是，在影像灰度特征不明顯的區域(比如：陰影區域、河流區域、湖泊區域、雪地區域等等)，立體影像密集匹配的精度會大幅度下降，從而影響三維重建的精度！

綜上所述，現有技術方案中的立體影像密集匹配方案的匹配精度較低。

發明內容

本申請提供一種結合語義信息的立體影像密集匹配方法及系統，以解決現有技術方案中的立體影像密集匹配方案的匹配精度較低的技術問題。

第一方面，根據本申請實施例提供一種結合語義信息的立體影像密集匹配方法,包括：

步驟S1、確定基準影像和參考影像，并將所述基準影像及參考影像重采樣化為核線立體影像；

步驟S2、基于基準影像及參考影像重采樣化后的核線立體影像，構建密集匹配數據項E_{match_data}、密集匹配平滑項E_{match_smooth}、語義分割數據項E_{semantic_data}、語義分割平滑項E_{semantic_smooth}及密集匹配和語義分割的互相關項E_correlation；

步驟S3、根據所述密集匹配數據項E_{match_data}、密集匹配平滑項E_{match_smooth}、語義分割數據項E_{semantic_data}、語義分割平滑項E_{semantic_smooth}及密集匹配和語義分割的互相關項E_correlation確定全局能量函數，并求取其最優解，得到語義三維重建結果。

在一個實施例中，所述構建密集匹配數據項E_{match_data}、密集匹配平滑項E_{match_smooth}、語義分割數據項E_{semantic_data}、語義分割平滑項E_{semantic_smooth}及密集匹配和語義分割的互相關項E_correlation，包括：