[發明專利]基于深度卷積對抗生成網絡DCGAN的雙光圖像融合模型

在審

• 申請號: 201810960343.0
• 申請日: 2018-08-22
• 公開（公告）號: CN109360146A
• 公開（公告）日: 2019-02-19
• 發明（設計）人: 齊興順;王勝利;張忠元;方勇;李哲;唐凱;黎炎;焦小強;陳楊;王宇;張波;鄧璐;韓冬
• 申請（專利權）人: 國網甘肅省電力公司;國網甘肅省電力公司檢修公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06K9/62
• 代理公司: 甘肅省知識產權事務中心 62100
• 代理人: 馬小瑞

1.一種基于深度卷積對抗生成網絡DCGAN的雙光圖像融合模型，該模型將同一物體的可見光圖像與紅外光圖像進行融合，其特征在于：該模型的建立過程包括以下步驟：

步驟一、鑒別網絡提取特征：先將物體的大量可見光圖像與紅外光圖像按照圖像比例放縮到相同尺寸，構成圖像訓練庫；然后構建一個以vgg網絡為初始參數的卷積神經網絡作為鑒別網絡，利用圖像庫訓練該鑒別網絡，使得鑒別網絡能有效區分紅外光圖像與可見光圖像；再將待融合的可見光圖像和紅外光圖像輸入到該鑒別網絡中，分別提取對應的圖像特征；

步驟二、稀疏編碼特征融合：將所有圖像特征構建成完備的特征庫，利用無監督的K-means方法在特征庫數據上創建一個特征字典，用求解LASSO問題的自我學習方法獲得待融合的可見光圖像和紅外光圖像特征在該特征字典上的編碼，然后利用平均加權的方式融合該編碼信息；

步驟三、生成網絡生成圖像：創建一個反卷積網絡作為模型的生成網絡，將步驟二所得的訓練圖像中的融合編碼信息輸入生成網絡得到融合圖像，利用融合圖像在鑒別網絡中的特征和實際融合編碼特征之間的誤差調整生成網絡的參數；訓練完成后，直接將待融合兩幅圖像的融合編碼數據輸入生成網絡，便可生成同一物體的雙光融合圖像。

2.根據權利要求1所述的基于深度卷積對抗生成網絡DCGAN的雙光圖像融合模型，其特征在于：步驟一中所述鑒別網絡提取特征的步驟為：

（1）用于提取可見光和紅外光圖像的特殊信息，鑒別網絡在原本的vgg網絡后面加上結構為500-100-2的小型神經網絡，初始化鑒別網絡時，小型神經網絡用截斷正態分布隨機數初始化，其他參數均使用原本vgg網絡訓練好的參數作為初始化；

（2）鑒別網絡的訓練方式為將訓練圖像庫中的數據按照可見光圖像和紅外光圖像分為兩類，將訓練圖像輸入鑒別網絡得到實際輸出，對應輸入圖像的實際標簽求得交叉熵：

在設置完成迭代次數和優化器參數后，就可以進行鑒別網絡訓練，訓練好的鑒別網絡作為一個特定的特征提取器；

（3）訓練完成鑒別網絡之后，利用該鑒別網絡提取可見光圖像和紅外光圖像的最后一層語義一維特征，設該網絡提取的最后一層可見光圖像和紅外光圖像的特征集為，先隨機選取k個聚類聚類中心，然后按照距離計算每個特征樣本應該屬于的類別：

特征樣本分類完成后再對每個類別重新按照以下公式計算該類別的聚類中心：

通過反復的重復迭代之后得到網絡最后一層語義特征集的最終聚類中心，而該聚類中心樣本便是該層特征的編碼字典，編碼字典以矩陣的形式存在；聚類迭代的次數為30次。

3.根據權利要求1或2所述的基于深度卷積對抗生成網絡DCGAN的雙光圖像融合模型，其特征在于：所述步驟二中特征字典編碼的訓練過程為：在融合兩種同一物體的可見光圖像和紅外光圖像時，將兩張圖像首先分別輸入鑒別網絡，通過鑒別網絡提取可見光圖像和紅外光圖像的語義特征，然后求解以下公式：

將可見光圖像和紅外光圖像的特征帶入該公式，得到該特征在特征字典上對應的編碼結果；得到兩個編碼結果后將編碼結果按照評價加權求和的方式進行融合，融合后的編碼結果將附帶兩種光照圖像的各項信息；最后利用該編碼信息和特征字典得到融合特征，該特征將作為深度卷積對抗生成網絡DCGAN的輸入隱變量。

4.根據權利要求3所述的基于深度卷積對抗生成網絡DCGAN的雙光圖像融合模型，其特征在于：所述步驟三所述的生成網絡圖像的方法為：所述步驟三所述的生成網絡圖像的方法為：首先構造一個16層的反卷積網絡，該反卷積網絡的輸入維度為100，與鑒別網絡的最后一層神經網絡的神經元維度相同，反卷積網絡的輸出維度與鑒別網絡的輸入圖像尺寸相同；構造完成深度卷積對抗生成網絡DCGAN后將融合編碼特征輸入深度卷積對抗生成網絡DCGAN將得到一張生成圖像，該生成圖像通過鑒別網絡提取特征，鑒別網絡逐層將所提取生成圖像的特征：記生成圖像第l層的特征為，可見光圖像第l層的特征為，紅外光圖像第l層的特征為，則利用誤差函數

來調節生成網絡的參數；該誤差函數保證了生成圖像在像素級別和特征級別上均近似于可見光圖像和紅外光圖像；利用該誤差函數反復迭代調整生成模型的參數，訓練完成之后將融合特征輸入深度卷積對抗生成網絡DCGAN時就可以自動生成雙光融合圖像。