[發明專利]基于反卷積神經網絡的圖像融合方法

有效

• 申請號: 201810319978.2
• 申請日: 2018-04-11
• 公開（公告）號: CN108596222B
• 公開（公告）日: 2021-05-18
• 發明（設計）人: 那彥;劉強強;王強軍;劉赫
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06T5/50;G06N3/08
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 陳宏社;王品華

1.一種基于反卷積神經網絡的圖像融合方法，其特征在于，包括如下步驟：

(1)設置反卷積神經網絡：

設置反卷積神經網絡中的特征圖個數和濾波器個數均為K，并將K個濾波器標記為{f₁,f₂,...,f_K}，K≥1；

(2)獲取訓練樣本集：

選擇與待融合圖像類型和大小相同的M幅圖像作為訓練樣本集，M≥2；

(3)對反卷積神經網絡進行訓練：

設置反卷積神經網絡的訓練總循環輪數為E，并通過訓練樣本集對反卷積神經網絡進行E輪訓練，得到訓練好的反卷積神經網絡；

(4)推斷待融合圖像的特征圖：

將待融合圖像A和待融合圖像B分別輸入到訓練好的反卷積神經網絡，并采用ISTA方法，分別推斷待融合圖像A和待融合圖像B的特征圖，得到待融合圖像A的K個特征圖{A₁,A₂,...,A_K}和待融合圖像B的K個特征圖{B₁,B₂,...,B_K}；

(5)對特征圖{A₁,A₂,...,A_K}和特征圖{B₁,B₂,...,B_K}進行融合：

對特征圖{A₁,A₂,...,A_K}中的特征圖A_k與特征圖{B₁,B₂,...,B_K}中對應標號的特征圖B_k進行融合，得到K個融合特征圖{F₁,F₂,...,F_K}，其中，k＝1,2,...,K；

(6)獲取融合圖像：

將融合特征圖{F₁,F₂,...,F_K}中的特征圖F_t與反卷積神經網絡的濾波器{f₁,f₂,...,f_K}中對應標號的濾波器f_t進行卷積，并對K個卷積結果進行相加，得到融合圖像F，其中t＝1,2,...,K。

2.根據權利要求1所述的基于反卷積神經網絡的圖像融合方法，其特征在于，步驟(3)所述的對反卷積神經網絡進行訓練，實現步驟如下：

(3a)設置訓練反卷積神經網絡的訓練總循環輪數為E；

(3b)對反卷積神經網絡的K個濾波器的每個像素賦一個隨機值，實現對反卷積神經網絡的初始化；

(3c)從訓練樣本集中每次隨機選取一幅圖像，輸入反卷積神經網絡中，并采用ISTA方法推斷選取的各圖像對應的K個特征圖，得到M個訓練樣本對應的M×K個特征圖；

(3d)采用梯度下降法對反卷積神經網絡中的K個濾波器進行更新，并循環重復步驟(3c)～(3d),直到循環輪數達到步驟(3a)中設置的總循環輪數E，得到訓練好的包含K個濾波器的反卷積神經網絡。

3.根據權利要求1所述的基于反卷積神經網絡的圖像融合方法，其特征在于，步驟(5)所述的對特征圖{A₁,A₂,...,A_K}中的特征圖A_k與特征圖{B₁,B₂,...,B_K}中對應標號的特征圖B_k進行融合，實現步驟如下：

(5a)求取特征圖A_k中每個點(i,j)處的像素值A_k(i,j)的絕對值|A_k(i,j)|，并求取特征圖B_k中與特征圖A_k對應位置處像素值B_k(i,j)的絕對值|B_k(i,j)|，其中i和j分別是特征圖A_k的行坐標和列坐標；

(5b)計算融合特征圖F_k在每個點(i,j)處的像素值F_k(i,j)，得到融合特征圖F_k，其中，像素值F_k(i,j)的計算公式為：