[發明專利]基于反卷積神經網絡的圖像融合方法

有效

• 申請號: 201810319978.2
• 申請日: 2018-04-11
• 公開（公告）號: CN108596222B
• 公開（公告）日: 2021-05-18
• 發明（設計）人: 那彥;劉強強;王強軍;劉赫
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06T5/50;G06N3/08
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 陳宏社;王品華

本發明提出了一種基于反卷積神經網絡的圖像融合方法，用于解決現有變換域圖像融合方法中存在的融合圖像信息熵較低的技術問題。實現步驟為：設置反卷積神經網絡；獲取訓練樣本集；用訓練樣本集對反卷積神經網絡進行訓練；用訓練好的反卷積神經網絡推斷待融合圖像的特征圖；對待融合圖像的特征圖進行融合；用融合后的特征圖和訓練好的反卷積神經網絡中的濾波器進行卷積求和，獲得融合圖像。本發明可以靈活設置待融合圖像的特征圖的個數，提取到更有利于全面反映待融合圖像信息的特征圖，進而得到信息更豐富的融合圖像，提高融合圖像的信息熵，可應用于多聚焦和醫學領域中圖像的分析處理。

技術領域

本發明屬于圖像處理技術領域，涉及一種圖像融合方法，具體涉及一種基于反卷積神經網絡的圖像融合方法，可用于多聚焦、醫學領域中圖像的分析與處理。

背景技術

反卷積神經網絡是深度學習中的一種網絡模型，它通過無監督的訓練，能夠用訓練好的網絡來推斷輸入圖像的多個特征圖，并且利用這些推斷出的特征圖和反卷積神經網絡的濾波器可以實現對原圖像的復原重構。

圖像融合是將來自多個傳感器的包含不同信息的多幅圖像按一定的融合規則進行綜合，以得到一幅同時包含融合前多幅源圖像的優點、內容更為豐富的融合圖像的過程。圖像融合技術可以綜合多幅源圖像的互補信息和冗余信息，克服單一傳感器的缺點，降低對單一傳感器的性能要求，降低了對原始圖像質量和信息量的要求，增加了圖像的信息量，在很大程度上提高了圖像質量，目前在測繪、醫學、工業產品檢測等領域的應用十分廣泛。

目前實際應用中，對圖像進行融合時使用的最多的方法是像素級圖像融合方法。像素級圖像融合方法分為空間域和變換域的兩種融合方法，但空間域的融合方法只是在空間域對圖像的像素進行簡單運算，效果不及變換域的融合方法，變換域圖像融合方法主要有基于多尺度變換的融合方法和基于稀疏表示的融合方法。

基于多尺度變換的融合方法是將待融合圖像和多尺度函數進行卷積，通過不斷改變多尺度函數的參數，將待融合圖像在不同尺度層次進行分解，得到不同層次的子圖像，然后根據不同子圖像的特征，采用相應的融合規則將子圖像進行融合，最后再將這些融合后的子圖像通過多尺度反變換，得到最終的融合圖像。由于多尺度變換方法得到子圖像的信息和原始圖像相比逐漸減少，細節信息逐漸被平滑掉，使得融合得到的圖像不能完全反映原始圖像的全部內容，因此融合后的圖像包含的信息較少，融合結果信息熵較低。

基于稀疏表示的融合方法是通過一個給定的過完備字典得到原圖像變換后的稀疏系數，然后將這些稀疏系數融合得到融合系數，再用融合系數與過完字典進行重構，得到最后的融合圖像。這種方法是建立在圖像空間足夠大的條件下，同時要求選擇一個過完備字典，使得任意一幅同類的圖像都可以通過此類的圖像子空間進行線性表示，并且要求圖像要大致中心一致對齊。在實際應用中，通常難以選擇一個合適的過完備字典，使得融合得到的圖像缺失了部分有效的信息，融合結果的信息熵較低。

發明內容

本發明的目的是針對上述現有技術的不足，提出了一種基于反卷積神經網絡的圖像融合方法，用于解決現有變換域圖像融合方法中存在的融合圖像信息熵較低的技術問題。

本發明的技術思路是，首先用訓練樣本集對反卷積神經網絡進行訓練，得到包含一組濾波器的訓練好的反卷積神經網絡，然后用訓練好的反卷積神經網絡對兩幅待融合圖像進行推斷，得到兩幅待融合圖像各自對應的特征圖，接著將待融合圖像的特征圖進行融合，得到融合后的特征圖，最后用融合后的特征圖和反卷積神經網絡中的濾波器進行卷積，將卷積結果求和，得到融合圖像。具體包括有如下步驟：

(1)設置反卷積神經網絡：

設置反卷積神經網絡中的特征圖個數和濾波器個數均為K，并將K個濾波器標記為{f₁,f₂,...,f_K}，K≥1；

(2)獲取訓練樣本集：

選擇與待融合圖像類型和大小相同的M幅圖像作為訓練樣本集，M≥2；