[發(fā)明專利]一種紅外-可見光融合的深度神經(jīng)網(wǎng)絡(luò)及其建模方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010919286.9
• 申請(qǐng)日: 2020-09-04
• 公開（公告）號(hào): CN111985625A
• 公開（公告）日: 2020-11-24
• 發(fā)明（設(shè)計(jì)）人: 李學(xué)鈞;戴相龍;蔣勇;何成虎;王曉鵬
• 申請(qǐng)（專利權(quán)）人: 江蘇濠漢信息技術(shù)有限公司
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/08;G06Q50/06;H04N5/265;H04N5/33
• 代理公司: 北京化育知識(shí)產(chǎn)權(quán)代理有限公司 11833
• 代理人: 秦麗

本發(fā)明提供了一種紅外?可見光融合的深度神經(jīng)網(wǎng)絡(luò)及其建模方法，包括：紅外編碼器模塊，用于提取紅外攝像機(jī)采集的紅外圖像特征；可見光編碼器模塊，用于提取可見光攝像機(jī)采集的可見光圖像特征；解碼器模塊，將所述紅外編碼器模塊與所述可見光編碼器模塊融合為融合編碼器模塊，所述融合編碼器模塊輸出至所述解碼器模塊；模型訓(xùn)練模塊，所述解碼器模塊輸出至所述模型訓(xùn)練模塊，所述模型訓(xùn)練模塊用于對(duì)所述深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。本發(fā)明的一種紅外?可見光融合的深度神經(jīng)網(wǎng)絡(luò)及其建模方法，構(gòu)建了基于紅外圖像以及可見光圖像的雙光融合的危險(xiǎn)源分割網(wǎng)絡(luò)模型，能夠結(jié)合兩種攝像機(jī)的優(yōu)勢(shì)，解決了單一紅外或者單一可見光攝像機(jī)定位危險(xiǎn)源的缺點(diǎn)。

技術(shù)領(lǐng)域

本發(fā)明涉及電力監(jiān)控技術(shù)領(lǐng)域，具體涉及一種紅外-可見光融合的深度神經(jīng)網(wǎng)絡(luò)及其建模方法。

背景技術(shù)

隨著我國國民經(jīng)濟(jì)的增長(zhǎng)和生活水平的提高，電力的需求也日益增加，電力系統(tǒng)電網(wǎng)規(guī)模的擴(kuò)大和電力負(fù)荷的提高，使電力設(shè)備損壞、故障及嚴(yán)重時(shí)造成設(shè)備燒損等事故發(fā)生的可能性增加。為盡可能避免各類電力事故，減少事故導(dǎo)致的重大經(jīng)濟(jì)損失勢(shì)在必行，刻不容緩。

單一的熱成像系統(tǒng)只能定位到發(fā)熱的危險(xiǎn)源，單一的可見光系統(tǒng)則無法定位僅僅發(fā)熱的危險(xiǎn)源。傳統(tǒng)的視頻監(jiān)控技術(shù)只提供視頻捕捉、存儲(chǔ)和回放等簡(jiǎn)單功能，不具備視頻分析功能和異常判斷能力，智能化程度不夠高，很難起到預(yù)警和報(bào)警的作用。

發(fā)明內(nèi)容

為了解決上述問題，本發(fā)明提供一種紅外-可見光融合的深度神經(jīng)網(wǎng)絡(luò)及其建模方法，構(gòu)建了基于紅外圖像以及可見光圖像的雙光融合的危險(xiǎn)源分割網(wǎng)絡(luò)模型，能夠結(jié)合兩種攝像機(jī)的優(yōu)勢(shì)，解決了單一紅外或者單一可見光攝像機(jī)定位危險(xiǎn)源的缺點(diǎn)。

為了實(shí)現(xiàn)以上目的，本發(fā)明采取的一種技術(shù)方案是：

一種紅外-可見光融合的深度神經(jīng)網(wǎng)絡(luò)，包括：紅外編碼器模塊，用于提取紅外攝像機(jī)采集的紅外圖像特征，所述紅外編碼器模塊包括三個(gè)Dwblock模塊以及兩個(gè)殘差模塊，紅外圖像依次輸出至Dwblock模塊、殘差模塊、Dwblock模塊、Dwblock模塊、殘差模塊以及1×1卷積層；可見光編碼器模塊，用于提取可見光攝像機(jī)采集的可見光圖像特征，所述可見光編碼器模塊包括兩個(gè)Dwblock模塊以及兩個(gè)殘差模塊，可見光圖像依次輸出至Dwblock模塊、殘差模塊、Dwblock模塊、殘差模塊以及1×1卷積層；解碼器模塊，將所述紅外編碼器模塊與所述可見光編碼器模塊融合為融合編碼器模塊，所述融合編碼器模塊輸出至所述解碼器模塊；以及模型訓(xùn)練模塊，所述解碼器模塊輸出至所述模型訓(xùn)練模塊，所述模型訓(xùn)練模塊用于對(duì)所述深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。

進(jìn)一步地，所述Dwblock模塊依次由數(shù)據(jù)填充、縱向卷積操作、批歸一化處理、卷積操作和批歸一化處理構(gòu)成，其中，所述縱向卷積操作指輸入圖像有N個(gè)通道，就采用N個(gè)卷積核進(jìn)行卷積，其中N為正整數(shù)。

進(jìn)一步地，所述數(shù)據(jù)填充操作指將所述紅外圖像或所述可見光圖像的邊界進(jìn)行擴(kuò)充，針對(duì)每個(gè)輸入x_i所述批處理歸一化過程為：x_i＝(x_i-u)/(sqrt((x_i-v)²)+e)，其中，u為輸入{x₁，x₂，x₃，...，x_n}的均值，v為輸入{x₁，x₂，x₃，...，x_n}的方差，e是一個(gè)小小偏置，防止分母趨向于0。

進(jìn)一步地，對(duì)所述批處理歸一化的結(jié)果x_i進(jìn)行了scale加上shift操作，即x_i＝scale*x_i+shift，其中scale和shift通過學(xué)習(xí)得到。

進(jìn)一步地，當(dāng)輸入為x時(shí)，所述殘差模塊輸出為F(x)+x。