[發(fā)明專利]一種基于卷積神經(jīng)網(wǎng)絡(luò)的輕量化多光譜圖像融合模型構(gòu)建方法

在審

• 申請?zhí)枺?/td>: 202310270912.X
• 申請日: 2023-03-10
• 公開（公告）號: CN116309225A
• 公開（公告）日: 2023-06-23
• 發(fā)明（設(shè)計(jì)）人: 任佳;李艷;怡勇;田杰;杜進(jìn)橋
• 申請（專利權(quán)）人: 深圳供電局有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06N3/0464;G06N3/0455;G06N3/096;G06T5/00;G06V10/46;G06V10/80;G06V10/82;G06N3/048
• 代理公司: 深圳匯智容達(dá)專利商標(biāo)事務(wù)所(普通合伙) 44238
• 代理人: 潘中毅

本發(fā)明公開一種基于卷積神經(jīng)網(wǎng)絡(luò)的輕量化多光譜圖像融合模型構(gòu)建方法，包括：構(gòu)建基于深度可分離卷積和ReLU6激活函數(shù)的卷積結(jié)構(gòu)塊；構(gòu)建基于卷積神經(jīng)網(wǎng)絡(luò)的圖像重建網(wǎng)絡(luò)；構(gòu)建基于像素?fù)p失和結(jié)構(gòu)相似性損失的第一損失函數(shù)；對所述圖像重建網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并采用所述第一損失函數(shù)進(jìn)行優(yōu)化；構(gòu)建基于卷積神經(jīng)網(wǎng)絡(luò)的動態(tài)殘差融合網(wǎng)絡(luò)；構(gòu)建用于優(yōu)化所述動態(tài)殘差融合網(wǎng)絡(luò)的第二損失函數(shù)；對所述動態(tài)殘差融合網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并采用所述第二損失函數(shù)進(jìn)行優(yōu)化。本發(fā)明通過在圖像融合模型中引入深度可分離卷積結(jié)構(gòu)塊的技術(shù)實(shí)現(xiàn)了對融合模型的輕量化，提供了一種解決現(xiàn)有融合模型參數(shù)量、模型規(guī)模過大，難以適配邊緣端設(shè)備的問題的方案。

技術(shù)領(lǐng)域

本發(fā)明屬于電力設(shè)備圖像融合技術(shù)領(lǐng)域，具體涉及一種基于卷積神經(jīng)網(wǎng)絡(luò)的輕量化多光譜圖像融合模型構(gòu)建方法。

背景技術(shù)

輸變電設(shè)備在輸變電系統(tǒng)中起著至關(guān)重要的作用，一般來說，輸變電設(shè)備必須具備能夠長期運(yùn)行、供電安全、操作便捷等特點(diǎn)。為了維持輸變電系統(tǒng)能夠長期正常運(yùn)行，變電所中的高壓輸變電設(shè)備就需要長期維持運(yùn)行狀態(tài)，在這樣的要求下，輸變電設(shè)備就會很容易出現(xiàn)故障情況，比如元件破裂損壞、腐敗、缺失等。除了惡劣天氣(大霧、暴雨、冰雹、雷擊)條件會經(jīng)常受到影響，輸變電設(shè)備自身也會因?yàn)槭褂脡勖拗瓢l(fā)生故障。

盡管輸變電設(shè)備容易發(fā)生故障問題，但多數(shù)輸變電設(shè)備的故障情況還是可以避免的。通常輸變電設(shè)備出現(xiàn)故障前，會出現(xiàn)溫度異常和放電異常的情況。普遍情況是溫度過高、設(shè)備出現(xiàn)局部放電，如果無法及時確定故障類型，會延誤最佳維修時間，造成更大的經(jīng)濟(jì)損失。在常規(guī)檢修中，技術(shù)人員需要手持紅外熱成像儀和紫外成像儀定期對輸變電設(shè)備進(jìn)行拍照，通過溫度差異變化和局部放電現(xiàn)象檢測故障類型、故障部位，進(jìn)行故障分析。因此，定期對輸變電設(shè)備巡檢變得尤為重要。

由于高壓輸變電設(shè)備分布地理位置的特殊性，目前電網(wǎng)的巡檢工作主要使用智能巡檢機(jī)器人、無人機(jī)和人工檢測三種方式。通過操作配備多光譜(即紅外、紫外和可見光圖像)傳感器的巡邏機(jī)器人或無人機(jī)拍攝輸變電設(shè)備在運(yùn)行狀態(tài)下的圖像，并將圖像數(shù)據(jù)上傳到云端由人工進(jìn)行狀態(tài)監(jiān)測和故障診斷。但是由于多模態(tài)傳感器的局限性，紅外、紫外與可見光圖像所捕獲的場景信息有很大不同，同一場景對象的多光譜圖像數(shù)據(jù)信息各不相關(guān)，技術(shù)人員需要分別對紅外、紫外、可見光圖像進(jìn)行分析診斷，工作量大且效率低下。因此，開發(fā)輸變電設(shè)備的多光譜圖像融合技術(shù)就變得尤為重要。

圖像融合是圖像處理的一個重要領(lǐng)域。它是將兩種或多種源圖像進(jìn)行特征融合，使得融合圖像特征信息能夠?qū)崿F(xiàn)互補(bǔ)，只對一張融合圖像進(jìn)行分析診斷，極大減少技術(shù)人員的工作量、提高檢測效率。將可見光、紅外、紫外3種檢測手段有機(jī)地結(jié)合起來，優(yōu)勢互補(bǔ)，易對輸變電設(shè)備進(jìn)行帶電檢測，能夠及時發(fā)現(xiàn)設(shè)備缺陷，便于開展大面積的巡檢。

傳統(tǒng)的圖像融合方法有多尺度變換(MST)、稀疏表示(SR)、基于顯著性、混合模型和其他方法。但是傳統(tǒng)方法需要手動設(shè)計(jì)融合規(guī)則，隨著結(jié)構(gòu)的復(fù)雜，計(jì)算量增加，給研究者帶來了不小的困難和挑戰(zhàn)。隨著人工智能的普及，基于深度學(xué)習(xí)的方法應(yīng)用到實(shí)際生活中。與傳統(tǒng)的圖像融合方法不同，基于深度學(xué)習(xí)的方法需要大量的數(shù)據(jù)集進(jìn)行訓(xùn)練，無需手動設(shè)計(jì)融合規(guī)則，只需搭建好網(wǎng)絡(luò)模型結(jié)構(gòu)，調(diào)整好參數(shù)就可以開始訓(xùn)練。目前研究者已提出了多種圖像融合方法，基于深度學(xué)習(xí)的方法中，DenseFuse、FusionGAN、U2Fusion等方法對傳統(tǒng)方法的局限性進(jìn)行了改進(jìn)，但是還是存在一定的問題。

在計(jì)算機(jī)視覺領(lǐng)域中，隨著數(shù)據(jù)量的增加和網(wǎng)絡(luò)層數(shù)的加深，深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練愈加困難，尤其是在圖像融合技術(shù)中需要對兩幅以上的圖像進(jìn)行處理，一方面訓(xùn)練會極大的占用顯存資源，對計(jì)算機(jī)配置要求高，另一方面復(fù)雜的神經(jīng)網(wǎng)絡(luò)會使學(xué)習(xí)訓(xùn)練過程中容易出現(xiàn)梯度爆炸或梯度彌散的情況，導(dǎo)致訓(xùn)練收斂速度緩慢甚至無法收斂，融合結(jié)果質(zhì)量低下。現(xiàn)有的圖像融合模型結(jié)構(gòu)復(fù)雜、模型參數(shù)量多、模型體積較大，實(shí)際運(yùn)行使用存在局限性。因此，開發(fā)并實(shí)現(xiàn)在低成本和運(yùn)算能力有限的移動終端環(huán)境中的多光譜圖像融合模型方法成了真正的挑戰(zhàn)。

發(fā)明內(nèi)容