[發明專利]基于卷積神經網絡的雙源圖像特征提取及融合識別方法

有效

• 申請號: 201810843122.5
• 申請日: 2018-07-27
• 公開（公告）號: CN109308483B
• 公開（公告）日: 2021-09-17
• 發明（設計）人: 冷陽;張弓;劉文波
• 申請（專利權）人: 南京航空航天大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 顏盈靜

本發明公開了一種基于卷積神經網絡的雙源圖像特征提取及融合識別方法，包括：利用卷積神經網絡具有遷移學習的特性，通過大量的可見光數據庫訓練卷積神經網絡模型參數；將訓練好的模型分別用于自動提取可見光與熱紅外目標圖像的隱藏特征，并使用最大值降采樣方法減少特征維度；結合費希爾判別法和主成分分析算法對目標的多源圖像特征進行降維融合；利用支持向量機分類器對目標圖像的融合特征進行分類識別。本發明針對無人機平臺中多源傳感器圖像目標分類識別，實現利用卷積神經網絡提取圖像隱藏特征，再組合費希爾判別法和主成分分析算法用于特征的降維融合，為基于特征級的多源圖像目標分類識別提供了一種新的有效途徑。

技術領域

本發明屬于圖像信號處理與模式識別領域，是一種基于卷積神經網絡的雙源圖像特征提取及融合識別方法。

背景技術

近二十年來，基于特征的目標識別分類技術成為圖像信號處理與模式識別研究的熱點，在軍事和民用領域得到了廣泛的應用。例如海上艦艇探測、海上救援、地面軍事目標打擊、嫌犯追蹤等等。目前，單傳感器的特征級目標識別分類技術已經相對成熟，單因為傳感器自身的限制，其工作環境和適用對象相對單一，無法滿足復雜環境中的應用需要。

可見光傳感器的成像分辨率高，目標紋理細節豐富，邊緣清晰，但容易受到光照條件的干擾，在強反射及光照不足時無法提供準確有效的信息。而熱紅外傳感器成像雖然成像分辨率差，邊緣易模糊，但不受光照情況影響，可滿足無光照或有強光反射情況下的工作需要。將多源傳感器圖像進行融合識別，可以有效擴展復雜條件下多源圖像目標識別的適用范圍，并提高識別率。

目前在基于特征的多源傳感器目標識別中，主要還依賴于人工提取圖像特征，如圖像的統計特征、邊緣特征、紋理特征等等，常見的特征提取算法有：HU不變矩、LBP 局部二值模式、GLCM灰度共生矩陣、Gabor特征等等。人工提取特征依賴于特征算法性能的優劣，想要選出兼具低冗余、高魯棒、且低維度的特征相對困難。同時，單一的特征算法一般無法適用于不同成像機理的傳感器圖像，使用范圍有限，目標識別率較低。

卷積神經網絡(Convolutional Neural Network，CNN)作為深度學習的一種重要模型，近年來在文字、語音、圖像識別等領域獲得了出色的成績。利用卷積神經網絡的遷移學習特征，通過龐大的可見光數據集對模型進行訓練學習，可以有效的提取出了圖像隱藏特征，無需關心特征的具體形式，即達到很高的識別率。卷積神經網絡模型結構主要包括卷積層、池化層和全連接層，采用局部連接和權值共享，降低了網絡模型的復雜度。

利用優化好參數的神經網絡模型，分別對可見光及熱紅外圖像提取隱含特征，利用 Fisher判別準則結合主成分分析方法對數據進行融合降維，相比于傳統的特征串聯、并聯方法，可以在保證目標識別率的前提下大幅減少特征維度，提高算法效率。

發明內容

針對傳統無人機單一傳感器源目標識別受環境因素影響較大的問題，為了提高識別效率，擴展適用場景范圍，本發明提出一種基于卷積神經網絡的雙源圖像特征提取及融合識別方法，解決無人機平臺中利用單源傳感器進行目標識別易受光照條件干擾，且對目標的變換敏感，分類識別率較低的問題，為未來無人機對地、對海進行目標探測與跟蹤識別提供了一條新途徑。

本發明公開了一種基于卷積神經網絡的雙源圖像特征提取及融合識別方法，包括以下步驟：

1.建立多類目標的可見光、熱紅外兩種成像傳感器源的圖像數據庫，每個庫包括相互對的L類目標，每類目標的樣本數為n，總樣本數為N＝nL；

2.搭建深層卷積神經網絡模型，模型結構依次為圖像輸入層、卷積層、池化層、丟棄層、全連接層和輸出層，其中卷積層與池化層需要組合使用并需多次重復；

3.利用卷積神經網絡的遷移學習特性，對搭建好的深層卷積神經網絡進行訓練，得到最優解的各層網絡參數并保存模型；