[發明專利]一種面向多模態圖像能見度檢測的神經網絡構建方法

有效

• 申請號: 202110635322.3
• 申請日: 2021-06-08
• 公開（公告）號: CN113283529B
• 公開（公告）日: 2022-09-06
• 發明（設計）人: 王晗;沈克成;劉佳麗;施佺
• 申請（專利權）人: 南通大學
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06K9/62;G06V10/764;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 許潔

本發明公開了一種面向多模態圖像能見度檢測的神經網絡構建方法，包括如下步驟：構建基于注意力模型的多尺度可變形卷積可見光圖像特征提取子網絡；構建基于注意力模型的多尺度可變形卷積遠紅外圖像特征提取子網絡；構建可見光?遠紅外雙模態圖像特征融合網絡模塊；將上述兩個子網絡輸出作為融合網絡的輸入，串聯組合成雙模態能見度等級分類網絡。采用本發明方法，通過注意力模型調節的多尺度可變形卷積神經網絡可有效提取不同感受野下、不同濃度霧氣的大氣特征；而雙模態圖像特征的融合可以實現模態互補，提供更加豐富而有效的大氣特征信息,顯著提高小樣本條件下能見度檢測的準確性與魯棒性。

技術領域

本發明涉及圖像能見度等級分類、檢測技術，尤其涉及一種利用雙模態圖像(可見光-紅外圖像對兒)作為輸入信號，通過多尺度特征提取-多模態特征融合網絡實現模態特征互補，進而對能見度等級進行分類和檢測的方法。

背景技術

霧、霾等惡劣天氣可導致大氣渾濁、透明度變小及能見度陡降，是誘發交通事故的重要原因，據統計發生在惡劣天氣下的交通事故占總交通事故的24％。能見度檢測可有效地監測大氣環境，對潛在的交通事故提供可靠的預警依據。基于圖像的能見度檢測方法具有設備低廉、安裝方便等優勢。因此，研究基于圖像處理的能見度檢測算法已成為研究熱點。

目前，常見的基于圖像的能見度檢測方法大概可以分為以下兩種。“統計學模型”：利用物理模型或者概率模型來估計能見度值。該方法需要設置人工輔助目標物，建立基于亮度值對比度的非線性描述函數或者利用大氣散射模型，操作復雜且方法精度較低。“深度學習法”：利用卷積神經網絡對輸入可見光彩色圖像的能見度等級進行分類，該方法性能受到訓練樣本的質量和數量的影響。

綜上所述，現有的基于圖像的能見度檢測深度學習方法存在如下不足：一、現有方法均采用可見光圖像作為輸入，觀測對象數據單一；二、卷積神經網絡采用單一、固定的“靜態”卷積核形式，無法靈活、有效地描述不同尺度、不同程度能見度下的大氣圖像特征；導致檢測模型在小樣本條件下的準確率與魯棒性均較低。

發明內容

為了解決上述問題，本發明的主要目的在于提供一種面向可見光-遠紅外圖像雙模態能見度等級分類的多尺度特征融合網絡構建方法，其先進性表現為：一、通過設計多尺度、可變形的“動態”卷積核對不同模態、不同尺度、不同程度能見度下的大氣圖像特征進行提取與表達。二、利用通道-空間聯合注意力模型將不同模態、不同尺度、不同形態卷積核下的特征進行融合，顯著提高小樣本下神經網絡能見度的檢測準確率和魯棒性。

為達到上述目的，本發明的技術方案是：一種面向多模態圖像能見度檢測的神經網絡構建方法，該方法包括：

步驟1)構建基于注意力模型調節的多尺度可變形卷積可見光圖像特征提取網絡模塊；

步驟2)構建基于注意力模型調節的多尺度可變形卷積遠紅外圖像特征提取網絡模塊；

步驟3)構建可見光-遠紅外雙模態圖像特征融合網絡模塊；

步驟4)將步驟1)可見光圖像特征提取網絡模塊與步驟2)遠紅外圖像特征提取網絡模塊輸出的特征拼接，作為步驟3)可見光-遠紅外雙模態圖像特征融合網絡的輸入，串聯組合成雙模態能見度等級分類網絡。

進一步的，所述的步驟1)的具體內容為：

“可見光圖像特征提取網絡模塊”的網絡結構共有五層，分別是輸入層、卷積層、多尺度特征融合層1、可變形卷積層、多尺度特征融合層2。其中，輸入層為尺寸224×224，通道數為3的可見光輸入圖像；卷積層由3×3卷積核與5×5卷積核這兩種不同尺度下的卷積組成，卷積核個數均為64，每個卷積層后接一個Relu激活層和BatchNormalization層。