[發明專利]基于運動目標檢測的紅外與可見光視頻的融合方法

有效

• 申請號: 201710816316.1
• 申請日: 2017-09-12
• 公開（公告）號: CN107657217B
• 公開（公告）日: 2021-04-30
• 發明（設計）人: 張萍;田明;王曉瑋;夏清;費春;王璟璟;吳江;劉婧雯;閆鵬宇
• 申請（專利權）人: 電子科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62
• 代理公司: 電子科技大學專利中心 51203
• 代理人: 吳姍霖

一種基于運動目標檢測的紅外與可見光視頻的融合方法，屬于視頻融合技術領域。本發明通過低秩稀疏表示進行運動目標的檢測，分別利用沿X?T和Y?T兩平面的時間切片的低秩性和稀疏性來提取目標，并利用空間信息來保證檢測目標的完整性，有效提高了檢測的魯棒性和準確性；其次，使用融合效果較好的非下采樣剪切波變換，可更加有效地描述圖像的結構信息，具有計算效率高、濾波方向無限、平移不變性等優點，有效提升了融合的效果；另外，本發明低頻子帶系數采用稀疏表示規則實現融合，高頻子帶系數采用目標顯著性圖作為加權因子的加權規則實現融合，融合效果更優。因此，本發明提出的基于運動目標檢測的紅外與可見光視頻的融合方法，其魯棒性與融合效果均較好。

技術領域

本發明屬于視頻融合技術領域，涉及紅外與可見光視頻的融合，具體涉及一種基于運動目標檢測的紅外與可見光視頻的融合方法。

背景技術

可見光圖像對比度相對較高，目標包含一定的細節信息，但在黑暗背景下具有不易觀察的隱蔽性。紅外圖像不依賴于外部的光線而利用場景內物體本身各個部分熱輻射的差異獲取物體圖像的細節，具有信噪比低、無彩色信息、缺少層次感等缺點，且目標圖像與背景對比度低、邊緣模糊。而可見光圖像與紅外圖像的融合可以綜合紅外圖像較好的目標指示特性和可見光圖像的清晰場景信息。近年來，隨著傳感器成本的降低與普及，基于多傳感器的融合技術受到廣泛重視與應用，如遙感、計算機視覺、醫學成像等領域。

紅外與可見光的視頻融合在視頻監控、目標跟蹤、精確制導、遙感監測等領域發揮著巨大的作用。但視頻有別于靜態圖像，其不僅具有空間特性，而且具有時間特性，因而在融合過程中必須考慮時間穩定性與一致性。最初，人們通過利用靜態圖像融合算法對輸入視頻的每一幀圖像單獨進行融合來實現視頻融合的目的；然而這類視頻融合算法只能較好地滿足視頻融合在空間性能上的要求，而時間穩定性和時間一致性這兩方面的性能很差。時間穩定性和時間一致性是視頻融合中的關鍵性難題。

經過科技的不斷發展，目前已經提出了很多視頻融合的方法。傳統的圖像融合方法主要有空域、頻域變換，典型的處理方法包括：多尺度(Multi-scale Transform，MST)，稀疏表示(Sparse Representation,SR)，壓縮感知(Compressive Sensing,CS)，全局熵(Global Entropy,GE)以及梯度約束(Gradient Constraint,GC)等。近年來，在此基礎上針對視頻融合提出的常用方法有：基于時空顯著性，基于關鍵幀提取，基于超現實亮度對比度傳遞，基于三維多尺度變換和基于低秩稀疏等視頻融合的方法。但是，基于稀疏表示的方法采用壓縮測量和背景恢復的方法，在字典的選擇或者學習方面比較耗費精力，效率低；而前幾種方法都是基于運動目標檢測，再將目標和背景分別采用不同的規則進行融合，雖然考慮了時空相關性，但其魯棒性、靈活性、計算效率、融合效果等方面仍然需要進一步地提升。

發明內容

本發明針對背景技術中視頻融合質量差的問題，提出了一種基于運動目標檢測的紅外與可見光視頻的融合方法。本發明方法有效提高了視頻融合的魯棒性和計算效果，比傳統的視頻融合方法適用性更廣，融合的效果也更符合人類視覺。

本發明的技術方案如下：

一種基于運動目標檢測的紅外與可見光視頻的融合方法，包括以下步驟：

步驟1：針對同一場景進行拍攝得到紅外視頻{I₁}和可見光視頻{I₂}，由于兩組視頻是針對同一場景拍攝的，目標在視頻中的同一位置處且紅外視頻中目標更為突出，因此只需對紅外視頻{I₁}采用低秩稀疏的方法進行運動目標檢測，針對紅外視頻中的第t幀圖像I₁(x,y,t)將運動目標區域從背景中分離得到最終的目標顯著性圖S″(x,y,t)；