[發明專利]遠紅外與可見光視頻圖像融合的行為分析方法有效

申請號：	202111333137.5	申請日：	2021-11-11
公開（公告）號：	CN114120176B	公開（公告）日：	2023-10-27
發明（設計）人：	陳彥文;韓裘辰;劉劍鴻;謝源豐;張賢德;余向陽	申請（專利權）人：	廣州市高科通信技術股份有限公司;中山大學
主分類號：	G06V20/40	分類號：	G06V20/40
代理公司：	廣州嘉權專利商標事務所有限公司 44205	代理人：	梁嘉琦
地址：	510000 廣***	國省代碼：	廣東;44
權利要求書：	查看更多	說明書：	查看更多
摘要：
搜索關鍵詞：	紅外可見光視頻圖像融合行為分析方法
鉆瓜網技術展會專利詞庫專利權人專利榜在售專利公布日期熱門專利

【說明書】：

本發明公開了一種遠紅外與可見光視頻圖像融合的行為分析方法，包括以下步驟：對預先獲取的紅外視頻文件和可見光視頻文件分別進行幀圖像提取，得到紅外熱成像圖像和可見光圖像；對紅外熱成像圖像和可見光圖像分別進行圖像增強；對圖像增強后的紅外熱成像圖像和可見光圖像分別進行配準；采用預設生成對抗網絡對配準后的紅外熱成像圖像和可見光圖像進行融合，得到目標融合圖像；采用預設目標檢測模型對目標融合圖像進行目標檢測，得到紅外視頻文件和可見光視頻文件內的用戶行為。本發明有效保留紅外熱成像圖像和可見光圖像的特征，有效提高紅外圖像和可見光圖像的融合結果的準確性。本發明可廣泛應用于圖像融合技術領域。

技術領域

本發明涉及圖像融合技術領域，尤其是一種遠紅外與可見光視頻圖像融合的行為分析方法。

背景技術

相關技術中，隨著傳感器技術的發展，單一的可見光模式逐漸發展為多種傳感器模式。各種傳感器具有不同的成像機理、不同的工作波長范圍、不同的工作環境與要求，完成不同的功能。由于傳感器自身物理特性、成像機理和觀察視角等各個方面的種種限制，單一的圖像傳感器往往不能夠從場景中提取足夠的信息，以至于很難甚至無法獨立獲得對一幅場景的全面描述。這就需要研究多源圖像融合。利用圖像傳感器獲得的圖像(成像探測)可以直觀地獲取目標的外形或基本結構信息，可有效的識別目標或目標的特定部位，它是提高精確制導武器抗干擾能力、目標識別能力以及精確探測能力最基本、最有效的手段。目前的圖像融合的方法，在融合過程中通常對不同源的圖像使用相同的變換或表示，這種做法對于紅外圖像和可見光圖像的融合是不恰當的，因為本質上紅外圖像中的熱輻射信息和可見光圖像的整體外觀是兩種不同現象的表現。而且在現有的大多數融合算法中的活躍等級測量和融合規則都需要人工設計，具有較高的實現難度和成本限制。

發明內容

本發明旨在至少解決現有技術中存在的技術問題之一。為此，本發明提出一種遠紅外與可見光視頻圖像融合的行為分析方法，能夠有效提高紅外圖像和可見光圖像的融合結果的準確性。

本發明實施例提供了一種遠紅外與可見光視頻圖像融合的行為分析方法，包括以下步驟：

對預先獲取的紅外視頻文件和可見光視頻文件分別進行幀圖像提取，得到紅外熱成像圖像和可見光圖像；

對所述紅外熱成像圖像和所述可見光圖像分別進行圖像增強；

對圖像增強后的所述紅外熱成像圖像和所述可見光圖像分別進行配準；

采用預設生成對抗網絡對配準后的所述紅外熱成像圖像和所述可見光圖像進行融合，得到目標融合圖像；

采用預設目標檢測模型對所述目標融合圖像進行目標檢測，得到所述紅外視頻文件和所述可見光視頻文件內的用戶行為。

在一些實施例中，所述對所述紅外熱成像圖像進行圖像增強，包括：

對所述紅外熱成像圖像進行多級二維離散小波變換，得到所述紅外熱成像圖像對應近似信號的低頻子帶和所述紅外熱成像圖像對應細節信號的高頻子帶；

對所述低頻子帶進行非線性圖像增強，以及對所述高頻子帶進行小波去噪；

根據圖像增強后的所述低頻子帶和小波去噪后的所述高頻子帶進行小波重構。