[發明專利]一種基于卷積神經網絡的圖像融合方法

有效

• 申請號: 201810991787.0
• 申請日: 2018-08-29
• 公開（公告）號: CN109272024B
• 公開（公告）日: 2021-08-20
• 發明（設計）人: 王蒙;劉興旺;梁敏
• 申請（專利權）人: 昆明理工大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明涉及一種基于卷積神經網絡的圖像融合方法，屬于信息融合、圖像處理領域。本發明通過訓練并使用卷積神經網絡來獲得融合圖片。通過針對待融合圖片選定訓練集預先對卷積神經網絡進行訓練，整個訓練過程屬于監督訓練；在訓練過程中涉及到圖片的分析與合成；再使用訓練好的兩組模型權值前饋網絡的分析和反饋網絡的合成，用于深度神經網絡融合模型。訓練和融合過程中的融合法則均采用基于深度學習的sigmoid函數融合法則。本發明避免了融合過程中出現冗余信息以及相關信息的遺漏。

技術領域

本發明涉及一種基于卷積神經網絡的圖像融合方法，屬于圖像融合領域。

背景技術

圖像融合是將兩個或者兩個以上的傳感器在同一時間或不同時間獲取的關于某個具體場景的圖像或者圖像序列信息加以綜合，以生成新的有關此場景屆時的信息處理過程。

隨著多源圖像融合技術的發展，其在軍事和民用領域的應用更為深入，并且對經濟和國防事業的建設都有重要的意義。多源圖像大致分為多傳感器圖像、遙感多源圖像、多聚焦圖像、時間序列圖像。而多聚焦圖像和時間序列圖像都是采用同種傳感器的不同成像方式或不用成像時間獲得的。特別的，多聚焦圖像是由同種傳感器采用不同的成像方式(聚焦點的不同)獲得的。多聚焦圖像的融合是圖像融合研究中一類具有代表性的問題。由于光學鏡頭的成像原理可知，物體在鏡頭的共軛平面時，成清晰的像，處于共軛平面以外的物體將出現不同程度的模糊，當模糊程度不超過光學系統的景深時，物體所成的像仍然可以看做是清晰的。光學系統的景深指保證在像平面能獲得清晰的像的物體在物放空間前后移動的最大距離，由于光學鏡頭的景深有限，使得在拍攝是很難獲取一幅所有景物都聚焦清晰的圖像。所以僅僅依靠成像系統本身很難解決這一問題。因此這個問題的有效解決方法是對同一場景拍攝幾幅聚焦點不同的圖像，然后，將其融合為一幅場景內所有景物均被聚焦的圖像，這種圖像融合被稱為多聚焦圖像融合。

醫學圖像融合(medical image fusion，MIF)是將來自相同或不同成像設備采集的同一組織或器官的相關圖像，經過適當的空間配準和疊加，加以必要的變換處理，使其在空間位置、空間坐標上達到匹配。

醫學成像已經成為包括診斷，治療計劃和手術導航在內的各種臨床應用中不可替代的組成部分。為了向醫生提供用于臨床目的的足夠的信息，通常需要用多種形式獲得的醫學圖像，諸如X射線，計算機斷層攝影(CT)，磁共振(MR)，正電子發射斷層攝影(PET)，單光子發射計算機斷層攝影(SPECT)等。由于成像機制的不同，具有不同形態的醫學圖像關注不同類別的器官/組織信息。例如，CT圖像通常用于骨骼和種植體等密集結構的精確定位，MR圖像可以提供具有高分辨率解剖信息的優異的軟組織細節，而血流和代謝變化的功能信息可以由PET和SPECT圖像提供，但空間分辨率低。多模態醫學圖像融合旨在通過生成可視化的合成圖像，將不同來源圖像中包含的補充信息相結合，從而幫助醫生為各種目的做出更容易更好的決策。

傳統的融合方法，比如變換域和空間域方法，前者將圖像進行系數變換然后在系數空間進行融合再反變換，得到融合圖像。后者直接在圖像的空間信息上進行融合。然而這兩類方法中濾波器組都是人為設定的，所以在濾波的過程中會漏掉很多相關信息并引入冗余信息。

發明內容

本發明提供一種基于卷積神經網絡的多聚焦圖片和醫學圖片融合技術，基于卷積神經網絡，通過訓練網絡模型得到權值，基于變換域的思想分解與合成圖片，避免融合過程中出現冗余信息以及相關信息的遺漏。

本發明的技術方案是：首先針對待融合圖片特性選定訓練數據集并對其進行預處理，針對待融合圖片選取若干圖片作為訓練數據集，并對選取的圖片進行模糊處理，形成由原清晰圖片和模糊圖片組成的訓練數據集；模糊處理時可以對圖片的不同區域進行處理得到不同的模糊圖片，而訓練數據集中數據數量越多，訓練得到的結果以及最后的圖像融合的到的效果越好。