[發明專利]結合語義信息的立體影像密集匹配方法及系統

有效

• 申請號: 202110057385.5
• 申請日: 2021-01-15
• 公開（公告）號: CN112767421B
• 公開（公告）日: 2023-09-15
• 發明（設計）人: 洪競科;肖長林;黃旭
• 申請（專利權）人: 重慶大學
• 主分類號: G06T7/12
• 分類號: G06T7/12
• 代理公司: 無錫承果知識產權代理有限公司 32373
• 代理人: 張亮

1.結合語義信息的立體影像密集匹配方法,其特征在于，包括：

步驟S1、確定基準影像和參考影像，并將所述基準影像及參考影像重采樣化為核線立體影像；

步驟S2、基于基準影像及參考影像重采樣化后的核線立體影像，構建密集匹配數據項E_{match_data}、密集匹配平滑項E_{match_smooth}、語義分割數據項E_{semantic_data}、語義分割平滑項E_{semantic_smooth}及密集匹配和語義分割的互相關項E_correlation；

步驟S3、根據所述密集匹配數據項E_{match_data}、密集匹配平滑項E_{match_smooth}、語義分割數據項E_{semantic_data}、語義分割平滑項E_{semantic_smooth}及密集匹配和語義分割的互相關項E_correlation確定全局能量函數，并求取其最優解，得到語義三維重建結果；

所述構建密集匹配數據項E_{match_data}、密集匹配平滑項E_{match_smooth}、語義分割數據項E_{semantic_data}、語義分割平滑項E_{semantic_smooth}及密集匹配和語義分割的互相關項E_correlation，包括：

根據基準影像的像素p與參考影像上像素p的同名像素p-d_p的匹配代價確定參考影像與基準影像的密集匹配數據項E_{match_data}，采用的第一數學模型為：

其中，I_L表示基準影像，d_p表示基準影像上像素p所對應的視差，D表示基準影像上所有像素視差的集合，C(p,d_p)表示基準影像上像素p與參考影像上的同名像素p-d_p之間的匹配代價；

求取所述密集匹配平滑項E_{match_smooth}；采用的第四數學模型為：

其中，D表示基準影像上所有像素視差的集合；W_m表示密集匹配平滑項中的懲罰因子，p表示基準影像上的像素，N_p表示以該像素p為九宮格中心像素的邊緣像素的集合，q_i表示該像素p的鄰域像素，d_p表示基準影像上像素p所對應的視差，d_qi表示基準影像上像素q_i所對應的視差；

構建結合語義信息的立體影像密集匹配全局能量函數中的語義分割數據項E_{semantic_data}，采用的第五數學模型為：

其中，L表示基準影像上所有像素類別的集合；S(p,l_p)表示基準影像上像素p對應類別l_p語義分割代價，采用U-Net網絡方法計算得到；

構建結合語義信息的立體影像密集匹配全局能量函數中的語義分割平滑項E_{semantic_smooth}，采用的第六數學模型為：

其中，L表示基準影像上所有像素語義分割類別的集合；P'表示語義分割平滑項中的懲罰因子，N_p表示像素p的鄰域像素集合，q_i表示像素p的鄰域像素，l_p表示基準影像上像素p所對應的語義分割類別，l_qi表示基準影像上像素q所對應的語義分割類別；

構建結合語義信息的立體影像密集匹配全局能量函數中的密集匹配和語義分割的互相關項E_correlation(D，L)，采用的數學模型為：

其中，I_L表示基準影像；D表示基準影像上所有像素視差的集合；L表示基準影像上所有像素語義分割類別的集合；p表示基準影像上的像素，N_p表示該像素p的鄰域像素集合，N_P表示該像素p的鄰域像素集合，l_p表示基準影像上像素p所對應的語義分割類別，l_qi表示基準影像上像素q所對應的語義分割類別；d_p表示基準影像上像素p所對應的視差，d_qi表示基準影像上像素q_i所對應的視差；δ(l₁,l₂)是二值化算子，l₁,l₂是該算子的兩個參數；P₁,P₂表示密集匹配和語義分割的互相關項中的兩個懲罰因子。