[發明專利]一種基于多光譜圖像融合的復雜場景識別方法及系統

在審

• 申請號: 202010895905.5
• 申請日: 2020-08-31
• 公開（公告）號: CN112016478A
• 公開（公告）日: 2020-12-01
• 發明（設計）人: 趙濤;程勇策;溫明;袁滔;喬宇晨
• 申請（專利權）人: 中國電子科技集團公司第三研究所
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京天盾知識產權代理有限公司 11421
• 代理人: 張彩珍

本發明公開了一種基于多光譜圖像融合的復雜場景識別方法，包括：將場景數據集的圖像劃分為訓練數據集和測試數據集，場景數據集的圖像為將紅外光和可見光融合后的圖像；根據訓練數據集構建場景識別的DL?FME卷積神經網絡，利用DL?FME卷積神經網絡對融合后的圖像進行分割，得到分割后的圖像；利用DL?FME卷積神經網絡對分割后的圖像進行訓練以生成場景識別訓練模型；將測試數據集的圖像輸入訓練模型以生成場景識別模型；利用場景識別模型對待識別的場景進行識別。本發明還公開了一種基于多光譜圖像融合的復雜場景識別系統。本發明的計算成本降低、場景識別的準確率高。

技術領域

本發明涉及視頻處理技術領域，尤其涉及一種基于多光譜圖像融合的復雜場景識別方法及系統。

背景技術

復雜環境下，對典型目標進行識別和提取是機載光電偵查領域的中一個重要領域，在軍事監視、目標探測、毀傷評估以及目標導航等方面都有廣泛的應用。

目前機載光電偵查設備往往需要搭載多臺不同光譜的傳感器，這種組合后的傳感器極大地豐富了人們對地面的觀察與測量，能夠幫助人民更加有效地認知地面目標物。

多譜段傳感器的共同使用獲取到的航拍圖像具有更加豐富的光譜特征信息、空間結構和幾何紋理等信息。比如在光電偵查領域，通過可見光相機所獲得圖像下并不容易區分軍事偽裝；而在長波/中波紅外相機下，生命體和偽裝物體的成像卻非常明顯。但是由于中波和長波紅外成像的紋理缺失嚴重，如果在偵查中單獨依靠熱紅外圖像時，會給后續圖像中場景的精確識別帶來極大的困難。

因此，針對航拍偵查場景的應用需求，需要通過一定的圖像融合手段來合理地處理這些圖像，并結合人工智能的方法對場景進行識別以獲取感興趣的信息，這已經成為機載光電偵查的重要應用方向。

在機載圖像融合和復雜環境識別應用中，現有技術中的圖像融合方法對于圖像細節特征的保留較少。

由于鏡頭材料和探測器靶面的限制，可見光鏡頭和紅外鏡頭的焦距往往是不同的探測器成像像素數也是不同的，這就給圖像高效快速地融合帶來了極大地困難。在航拍圖像中，包含的地物種類繁多，其中，道路、建筑物、水體等信息是重要的基礎地理信息以及生命體、偽裝等是重要的場景信息。

目前，由于影像分辨率的提高，影像中包含的地物變得越發豐富，圖像的細節特征也越來越豐富。現有技術中對顏色空間的色彩融合方法為了保持自然感的彩色圖像，在彩色初始化中，主要是將目標場景紋理信息較為豐富的可見光圖像(灰度化處理后)送到Y通道，將白熱紅外圖像主要送到V通道，將黑熱紅外圖像(即紅外圖像的正片)主要送到U通道，受制于機載平臺上圖像處理硬件的計算能力，這就給不同波段圖像的快速匹配和融合帶來較大的困難。同時，為了圖像后期圖像識別的方便，保留更豐富的圖像信息也逐漸成為圖像融合的關注的主要問題。

在對圖像信息進行地理及場景信息的識別時，現有技術中利用SVM、K-means分割定位算法受到場景信息的干擾往往比較大，如場景中樹木與建筑物的陰影、車輛及路面上的臨時施工區都會影響到信息的準確提取；并且現有技術中的Mask-RCNN、Deeplab等神經網絡算法受到機載平臺計算能力的影響，面臨著計算耗時長，特征提取能力差的問題。

發明內容

本發明提出了一種基于多光譜圖像融合的復雜場景識別方法及系統，利用DeepLabv3--Feature Map Enhancement(DL-FME)卷積神經網絡，以解決上述現有技術中存在的至少一個技術問題。

為了達到上述目的，本發明采用的技術方案為：

第一方面，本發明實施例提供一種基于多光譜圖像融合的復雜場景識別方法，該方法包括以下步驟：

將場景數據集的圖像劃分為訓練數據集和測試數據集，所述場景數據集的圖像為將紅外光和可見光融合后的圖像；