[發(fā)明專利]一種紅外-可見光融合的深度神經網絡及其建模方法

在審

• 申請?zhí)枺?/td>: 202010919286.9
• 申請日: 2020-09-04
• 公開（公告）號: CN111985625A
• 公開（公告）日: 2020-11-24
• 發(fā)明（設計）人: 李學鈞;戴相龍;蔣勇;何成虎;王曉鵬
• 申請（專利權）人: 江蘇濠漢信息技術有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06Q50/06;H04N5/265;H04N5/33
• 代理公司: 北京化育知識產權代理有限公司 11833
• 代理人: 秦麗

1.一種紅外-可見光融合的深度神經網絡，其特征在于，包括：

紅外編碼器模塊，用于提取紅外攝像機采集的紅外圖像特征，所述紅外編碼器模塊包括三個Dwblock模塊以及兩個殘差模塊，紅外圖像依次輸出至Dwblock模塊、殘差模塊、Dwblock模塊、Dwblock模塊、殘差模塊以及1×1卷積層；

可見光編碼器模塊，用于提取可見光攝像機采集的可見光圖像特征，所述可見光編碼器模塊包括兩個Dwblock模塊以及兩個殘差模塊，可見光圖像依次輸出至Dwblock模塊、殘差模塊、Dwblock模塊、殘差模塊以及1×1卷積層；

解碼器模塊，將所述紅外編碼器模塊與所述可見光編碼器模塊融合為融合編碼器模塊，所述融合編碼器模塊輸出至所述解碼器模塊；以及

模型訓練模塊，所述解碼器模塊輸出至所述模型訓練模塊，所述模型訓練模塊用于對所述深度神經網絡模型進行訓練。

2.根據權利要求1所述的紅外-可見光融合的深度神經網絡，其特征在于，所述Dwblock模塊依次由數據填充、縱向卷積操作、批歸一化處理、卷積操作和批歸一化處理構成，其中，所述縱向卷積操作指輸入圖像有N個通道，就采用N個卷積核進行卷積，其中N為正整數。

3.根據權利要求2所述的紅外-可見光融合的深度神經網絡，其特征在于，所述數據填充操作指將所述紅外圖像或所述可見光圖像的邊界進行擴充，針對每個輸入x_i所述批處理歸一化過程為：x_i＝(x_i-u)/(sqrt((x_i-v)²)+e)，其中，u為輸入{x₁，x₂，x₃，…，x_n}的均值，v為輸入{x₁，x₂，x₃，...，x_n}的方差，e是一個小小偏置，防止分母趨向于0。

4.根據權利要求3所述的紅外-可見光融合的深度神經網絡，其特征在于，對所述批處理歸一化的結果x_i進行了scale加上shift操作，即x_i＝scale*x_i+shift，其中scale和shift通過學習得到。

5.根據權利要求4所述的紅外-可見光融合的深度神經網絡，其特征在于，當輸入為x時，所述殘差模塊輸出為F(x)+x。

6.一種基于權利要求5所述的紅外-可見光融合的深度神經網絡的建模方法，其特征在于，包括如下步驟：

S10通過紅外攝像機以及可見光攝像機分別采集紅外圖像與可見光圖像，分別在所述紅外圖像與所述可見光圖像中標注出危險源位置，構建雙光危險源分割數據集；

S20構建可見光編碼器模塊以及紅外編碼器模塊，并將可見光編碼器模塊以及紅外編碼器模塊融合獲得融合編碼器模塊，進而將所述雙光危險源分割數據集輸入所述融合編碼器模塊獲得融合特征值；

S30構建解碼模塊，將所述融合特征值輸入所述解碼模塊，將所述解碼模塊輸出至softmax層，完成建模。

7.根據權利要求6所述的紅外-可見光融合的建模方法，其特征在于，還包括S40步驟，位于所述S30步驟之后，交叉熵損失函數和梯度下降算法進行模型訓練，損失函數定義如下：

其中，t_i為真實值，y_i代表softmax第i個輸出值，i表示類別索引，C總的類別個數，v_i表示解碼模塊的第i個輸出。