[發明專利]紅外與可見光圖像融合的雙分支卷積神經網絡裝置

有效

• 申請號: 202110660293.6
• 申請日: 2021-06-15
• 公開（公告）號: CN113379661B
• 公開（公告）日: 2023-03-07
• 發明（設計）人: 劉國棟;吳小龑;胡流森;袁紅;朱嘉輝;楊曉敏
• 申請（專利權）人: 中國工程物理研究院流體物理研究所;四川大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06V10/80;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 成都行之專利代理事務所(普通合伙) 51220
• 代理人: 王鵬程

1.紅外與可見光圖像融合的雙分支卷積神經網絡裝置，其特征在于，雙分支卷積神經網絡裝置包括級聯模塊、低頻融合模塊、高頻融合模塊以及融合模塊；

所述級聯模塊，用于將紅外圖像和可見光圖像在顏色通道上進行級聯，得到級聯圖像；

所述低頻融合模塊，用于學習所述級聯圖像的局部特征，得到低頻融合圖像；

所述高頻融合模塊，用于學習所述級聯圖像的全局特征，得到高頻融合圖像；

所述融合模塊，用于根據所述低頻融合圖像和所述高頻融合圖像構建融合圖像；

所述低頻融合模塊包括低頻淺層特征提取單元、深層特征提取單元、上采樣單元以及低頻重建單元；

所述低頻淺層特征提取單元，用于提取所述級聯圖像的淺層特征；

所述深層特征提取單元，用于提取所述淺層特征的深層特征；

所述上采樣單元，用于調整所述深層特征的尺寸，直至所述深層特征的尺寸與所述級聯圖像的尺寸一致；

所述低頻重建單元，用于將所述深層特征構建為所述低頻融合圖像；

所述深層特征提取單元包括3個卷積層，任意一個所述卷積層的卷積核大小為3×3，步長為2；

所述高頻融合模塊包括高頻淺層特征提取單元、局部殘差特征提取單元、全局特征提取單元以及高頻重建單元；

所述高頻淺層特征提取單元，用于提取所述級聯圖像的淺層特征；

所述局部殘差特征提取單元，用于從所述淺層特征中提取出不同層次的特征，并將不同層次的特征進行維度連接；

所述全局特征提取單元，用于根據維度連接后的不同層次的特征獲取所述級聯圖像的全局特征；

所述高頻重建單元，用于根據所述全局特征構建所述高頻融合圖像；

所述局部殘差特征提取單元包括第一殘差密集塊、第二殘差密集塊、第三殘差密集塊、第四殘差密集塊以及維度連接塊；

所述第一殘差密集塊，用于從所述淺層特征中提取出第一局部殘差特征，并將所述第一局部殘差特征傳輸至所述第二殘差密集塊和所述維度連接塊；

所述第二殘差密集塊，用于從所述第一局部殘差特征中提取出第二局部殘差特征，并將所述第二局部殘差特征傳輸至所述第三殘差密集塊和所述維度連接塊；

所述第三殘差密集塊，用于從所述第二局部殘差特征中提取出第三局部殘差特征，并將所述第三局部殘差特征傳輸至所述第四殘差密集塊和所述維度連接塊；

所述第四殘差密集塊，用于從所述第三局部殘差特征中提取出第四局部殘差特征，并將所述第四局部殘差特征傳輸至所述維度連接塊；

所述維度連接塊，用于將所述第一局部殘差特征、所述第二局部殘差特征、所述第三局部殘差特征以及所述第四局部殘差特征進行維度連接。

2.根據權利要求1中所述的紅外與可見光圖像融合的雙分支卷積神經網絡裝置，其特征在于，所述融合模塊包括融合單元和參數生成單元；

所述融合單元，用于將所述低頻融合圖像和所述高頻融合圖像進行相加，得到所述融合圖像；

所述參數生成單元，用于根據所述融合圖像獲取所述低頻融合模塊和所述高頻融合模塊中的網絡參數。