[發明專利]多傳感器圖像融合的方法及系統

有效

• 申請號: 202011084849.3
• 申請日: 2020-10-12
• 公開（公告）號: CN112233079B
• 公開（公告）日: 2022-02-11
• 發明（設計）人: 耿可可
• 申請（專利權）人: 東南大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06V20/58;G06V10/80;G06K9/62;G06N3/04
• 代理公司: 北京德崇智捷知識產權代理有限公司 11467
• 代理人: 曹婷

1.一種多傳感器圖像融合的方法，其特征在于，包括：

使用可見光圖像質量評估網絡IQAN對RGB圖像進行評估，得到RGB圖像的IQA評分；

使用加權評估網絡獲得所述RGB圖像的權重融合函數，得到激光雷達圖像和所述RGB圖像的權重系數；

使用ResNet101+FPN網絡對所述RGB圖像和所述激光雷達圖像分別進行特征提取，分別得到RGB圖像特征和激光雷達圖像特征；

通過所述權重融合函數將所述RGB圖像特征和所述激光雷達圖像特征進行特征融合，得到第一融合特征；

通過FPN網絡對所述第一融合特征進行特征融合，得到第二融合特征；

使用預測網絡對所述第二融合特征進行結果預測，得到預測結果；

使用聯合損失函數和所述預測結果訓練網絡模型，得到深度學習網絡；

其中，所述權重融合函數的表達式包括：

其中，w_RGB表示RGB圖像的權重系數，δ表示相對誤差，ε表示效果參數，IQ_RGB表示每個RGB圖像的IQA分數，IQ_T表示IQA分數的閾值，則激光雷達圖像的權重系數為w_LIDAR＝1-w_RGB。

2.如權利要求1所述的多傳感器圖像融合的方法，其特征在于，所述可見光圖像質量評估網絡IQAN包括兩個卷積層、激活層、池化層和兩個全連接層。

3.如權利要求2所述的多傳感器圖像融合的方法，其特征在于，所述使用ResNet101+FPN網絡對所述RGB圖像和所述激光雷達圖像進行特征提取，包括：

對位于相機場內的激光雷達點云進行采樣，對所述采樣進行投影轉換，其投影函數為：

其中，α和β表示觀察所述激光雷達點云時的方位角和天頂角，Δα和Δβ表示連續波束發射體之間的平均水平角度分辨率和平均垂直角度分辨率，(r,c)表示所述激光雷達點云在投影圖像上的二維地圖位置索引，(x,y,z)表示所述激光雷達點云在笛卡爾坐標系下的坐標，在(r,c)處用二通道數據(d,z)填充元素進行轉換，將轉換后的激光雷達點云數據(r,c)和RGB圖像分別輸入到由ResNet101+FPN構成的網絡中進行特征提取。

4.如權利要求3所述的多傳感器圖像融合的方法，其特征在于，所述聯合損失函數包括：

Loss_total＝λ_clsLoss_cls+λ_bboxLoss_bbox+λ_maskLoss_mask；

其中，Loss_total表示總損耗，Loss_cls表示分類損耗，Loss_bbox表示邊界框回歸損耗，Loss_mask表示掩碼預測損耗，λ_cls、λ_bbox、λ_mask分別為相應的權重系數；

使用P_i和P_i^*分別表示地面真實分類和預測分類，則所述分類損耗表示為：

其中，N_cls表示建議區域的數量，L_cls為多類交叉熵函數；

使用B_i和B_i^*分別表示地面真實邊界框和預測邊界框，則所述邊界框回歸損耗表示為：其中，N_reg表示要素地圖的大小，L_bbox表示損耗函數smooth-L1；

使用M_i和M_i^*分別表示地面真實分段蒙版和預測分段蒙版，則所述掩碼預測損耗表示為：其中N_mask表示像素級別上要素地圖的位置，L_seg表示交叉熵函數。