[發(fā)明專利]基于卷積神經網絡的雙源圖像特征提取及融合識別方法

有效

• 申請?zhí)枺?/td>: 201810843122.5
• 申請日: 2018-07-27
• 公開（公告）號: CN109308483B
• 公開（公告）日: 2021-09-17
• 發(fā)明（設計）人: 冷陽;張弓;劉文波
• 申請（專利權）人: 南京航空航天大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 顏盈靜

1.基于卷積神經網絡的雙源圖像特征提取及融合識別方法，其特征在于：包括以下步驟：

步驟1：建立多類目標的可見光、熱紅外兩種成像傳感器源的圖像數據庫，每個庫包括相互對的L類目標，每類目標的樣本數為n，總樣本數為N＝nL；

步驟2：搭建深層卷積神經網絡模型，模型結構依次為圖像輸入層、卷積層、池化層、丟棄層、全連接層和輸出層，其中卷積層與池化層需要組合使用并需多次重復；

步驟3：利用卷積神經網絡的遷移學習特性，對搭建好的深層卷積神經網絡進行訓練，得到最優(yōu)解的各層網絡參數并保存模型；

步驟4：對于數據庫中的每個樣本，分別將其可見光、熱紅外成像傳感器源對應的圖像作為輸入送入訓練好的深層卷積神經網絡模型中計算；利用多層卷積自動提取輸入圖像的隱藏特征，表示為矩陣形式I_vis/ir＝[m,m,M]，其中vis/ir分表表示可見光及熱紅外成像源圖像樣本，[m,m]表示卷積輸出窗口結果，M表示疊加的卷積核的數量；

步驟5：對每個樣本提取到的特征矩陣I_vis/ir進行降采樣處理：令mmax＝max(m,m)，則三維特征矩陣[m,m,M]降采樣到M維的特征向量，表示為I′_vis/ir＝[mmax₁,…,mmax_S]；

步驟6：對雙源數據庫中的N個樣本，構造兩個N*M大小的二維特征矩陣A_vis，A_ir：

其中，矩陣元素分別是可見光、熱紅外數據庫中屬于第i類目標的第j個樣本特征向量，i＝1,2,…,L，j＝1,2,…,n；

步驟7：將二維特征矩陣A_vis，A_ir進行串聯(lián)融合，得到包含可見光與熱紅外圖像隱藏特征的新特征矩陣F_N，2*M＝[A_vis，A_ir]；

步驟8：通過Fisher判別函數：

式中，h為特征分量編號；k為目標所屬類型，k＝1,2,…,L，L為目標類別總數；為類型h的單個樣本的第i維特征；w_k為類型為k的樣本集合；為類型為k的所有樣本第h維特征的均值；n_h為所有類型樣本的第h維特征的總數；m_h為所有類型樣本的第h維特征的均值；為類型為k的所有樣本的第h維特征的個數；

求特征矩陣F_N，2*M每一維特征的Fisher判別函數值J_F(h)，令判別閾值Q＝mean(J_F)，保留特征矩陣F_N，2*M中J_F(h)大于Q的當前維度特征，剔除小于閾值的特征，得到篩選后的特征矩陣F′_N，T,T維篩選過后的特征維度；

步驟9：提取篩選過后的特征矩陣F′的主成分特征：首先求得訓練樣本特征f′_train^(a)集合的協(xié)方差矩陣F′F′^T，對F′F′^T進行特征值分解，取出最大的n′個特征值對應的特征向量(w₁,w₂,...,w_n′),將所有的特征向量標準化后，組成特征向量矩陣W，訓練樣本集中的每個樣本的特征轉化為z_train^(a)＝W^Tf′_train^(a)，同理，測試集表示為z_test^(b)＝W^Tf′_test^(b)，a,b分別表示訓練和測試樣本個數；

步驟10：將融合降維后的訓練數據Z_train和測試Z_test數據送入SVM分類器中進行識別。

2.根據權利要求1所述的基于卷積神經網絡的雙源圖像特征提取及融合識別方法，其特征在于：步驟1所述的數據庫是基于無人機平臺下同視角的可見光及熱紅外傳感器拍攝的多類目標圖片。