[發明專利]多傳感器圖像融合的方法及系統

有效

• 申請號: 202011084849.3
• 申請日: 2020-10-12
• 公開（公告）號: CN112233079B
• 公開（公告）日: 2022-02-11
• 發明（設計）人: 耿可可
• 申請（專利權）人: 東南大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06V20/58;G06V10/80;G06K9/62;G06N3/04
• 代理公司: 北京德崇智捷知識產權代理有限公司 11467
• 代理人: 曹婷

本發明公開了一種多傳感器圖像融合的方法及系統，涉及圖像處理技術領域，解決了現有圖像處理技術造成環境感知的穩健性和有效性不高的技術問題，其技術方案要點是利用可見光圖像質量評估網絡IQAN對RGB圖像進行評估，通過特征權重的表達式將RGB圖像和激光雷達圖像的特征進行特征融合，再利用聯合損失函數對網絡模型進行訓練，得到基于圖像質量評估的深度學習網絡，該深度學習網絡對多傳感器圖像融合的感知問題有較好的適用性，且本發明網絡結構清晰，計算復雜度低，能夠在實車嵌入式控制器上實現，有較好的應用前景。

技術領域

本公開涉及圖像處理技術領域，尤其涉及一種多傳感器圖像融合的方法及系統。

背景技術

環境感知是實現無人駕駛汽車自主形式的關鍵技術之一，其中多傳感器信息融合感知是通過融合相機、激光雷達等多種傳感器的信息實現車輛對環境的感知，同時保證車輛行駛安全性和智能化，是無人駕駛汽車的眼睛，是實現無人駕駛汽車的必要條件。

目前，對無人駕駛汽車的環境感知大都使用基于深度學習網絡的感知方法，用RGB圖像和距離信息作為深度學習網絡的輸入進行特征提取。最常見的深度學習網絡之一是卷積神經網絡，卷積神經網絡具有表征學習能力，能夠按其階層結構對輸入信息進行平移不變分類，最具代表性的卷積神經網絡之一是ResNet(Residual Neural Network，殘差神經網絡)，由于輸入可以直接連接到輸出，使得整個網絡只需要學習殘差，從而簡化學習目標和難度。

多傳感器融合并對環境感知的關鍵在于圖像數據的質量，相機在各種環境感知系統中得到了廣泛的應用，因為成本更低，圖像的特征更豐富，包括顏色、紋理、亮度、方向等，但是光照變化、運動模糊和強噪聲對圖像質量有很大的影響，這對于基于圖像的交通目標分類算法的有效性和穩健性是非常不利的。因此，如何合理利用不同的傳感器數據，從而提高環境感知的穩健性和有效性是本申請亟需解決的問題。

發明內容

本公開提供了一種多傳感器圖像融合的方法及系統，其技術目的是合理利用不同的傳感器數據，提高環境感知的穩健性和有效性。

本公開的上述技術目的是通過以下技術方案得以實現的：

一種多傳感器圖像融合的方法，包括：

使用可見光圖像質量評估網絡IQAN對RGB圖像進行評估，得到RGB圖像的IQA評分；

使用加權評估網絡IQA獲得所述RGB圖像的權重融合函數，得到激光雷達圖像和所述RGB圖像的權重系數；

使用ResNet101+FPN網絡對所述RGB圖像和所述激光雷達圖像分別進行特征提取，分別得到RGB圖像特征和激光雷達圖像特征；

通過所述權重融合函數將所述RGB圖像特征和所述激光雷達圖像特征進行特征融合，得到第一融合特征；

通過FPN網絡對所述第一融合特征進行特征融合，得到第二融合特征；

使用預測網絡對所述第二融合特征進行結果預測，得到預測結果；

使用聯合損失函數和所述預測結果訓練網絡模型，得到深度學習網絡。

進一步地，所述可見光圖像質量評估網絡IQAN包括兩個卷積層、激活層、池化層和兩個全連接層。

進一步地，所述權重融合函數的表達式包括：

其中，w_RGB表示RGB圖像的權重系數，δ表示相對誤差，ε表示效果參數，IQ_RGB表示每個RGB圖像的IQA分數，IQ_T表示IQA分數的閾值，則激光雷達圖像的權重系數為w_LIDAR＝1-w_RGB。