[發明專利]基于時空顯著性檢測的多傳感器視頻融合方法

有效

• 申請號: 201310047223.9
• 申請日: 2013-01-25
• 公開（公告）號: CN103095996A
• 公開（公告）日: 2013-05-08
• 發明（設計）人: 張強;陳月玲;陳閔利;王龍
• 申請（專利權）人: 西安電子科技大學
• 主分類號: H04N5/262
• 分類號: H04N5/262;H04N5/265
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 田文英;王品華

技術領域

本發明屬于圖像處理技術領域，更進一步涉及一種視頻圖像處理技術領域中的基于時空顯著性檢測的多傳感器視頻融合方法。本發明能夠更加準確的從輸入的視頻中提取顯著的時空特征信息，可應用于多傳感器靜態背景的視頻圖像融合。

背景技術

圖像和視頻融合是信息和數據融合的一個特殊領域，通過圖像或視頻融合，將原圖像或視頻之間的“冗余”和“互補”信息提取出來，得到一個融合的圖像或視頻。融合后的圖像或視頻比單一的輸入圖像或視頻更能精確地描述場景。靜態圖像融合的基本要求是輸入圖像中有用的空間信息應該盡可能多的保留在融合圖像中，以及在融合過程中不引入虛假信息。靜態圖像融合算法已經得到廣泛研究，相對于靜態圖像融合，視頻圖像融合除了滿足上述基本要求外，還要滿足時間穩定性和一致性。由于視頻和圖像之間的特殊關系，一般情況下，可以采用靜態圖像融合算法對視頻逐幀進行融合，這種逐幀融合方法主要考慮了輸入視頻的空間信息，具有較好的空間信息提取性能，但往往忽略了輸入視頻中的時間信息，從而容易引起時間不一致性和不穩定性問題。

西安電子科技大學申請的專利“基于Surfacelet變換的紅外與可見光視頻圖像融合方法”(申請號：CN201010172719.5，申請公開號：CN101873440A)中公開一種紅外與可見光視頻圖像融合的方法。該方法的具體步驟是：首先，采用Surfacelet變換對輸入視頻圖像進行多尺度、多方向分解得到不同頻域子帶系數；然后，通過基于三維局部空-時區域能量匹配的“選擇”和“加權平均”相結合的融合方法，以及通過基于三維局部空-時區域能量和方向向量標準方差相結合的融合方法，分別對輸入視頻圖像的低通子帶系數和帶通方向子帶系數進行組合，得到融合視頻圖像的低通子帶系數和帶通方向子帶系數；最后，對組合得到的各子帶系數進行Surfacelet逆變換得到融合視頻圖像。該方法主要將已有的二維靜態融合規則通過簡單地擴展用于視頻融合，但是該方法仍然存在的不足是，由于一個視頻往往包含許多具有不同特征的區域，如果通過一個簡單的擴展將那些靜態圖像融合準則應用到視頻融合中，輸入視頻中所有的不同特征區域都將被等同對待，這在一定程度上，會降低融合方法在時空一致性和信息提取方面的性能。

王宏，敬忠良，李建勛發表的論文“一種基于目標區域的圖像融合新方法”(中國激光，32(3)，2005，PP：351-355)中公開一種融合方法。該方法首先采用運動目標檢測技術將視頻中各幀圖像分成運動目標區域和背景區域，然后針對每幀圖像的背景區域和目標區域采用不同的融合規則分別融合，得到融合視頻。但是該方法存在的不足是，由于該方法僅僅利用單幀的圖像處理方法對不同區域采用不同的融合準則，在一定程度上，空間信息提取性能會被降低。

發明內容

本發明的目的在于克服上述已有技術的缺點，提出一種基于3D-UDCT和時空顯著性檢測相結合的視頻融合方法，以便更好地提取輸入視頻圖像中顯著的空間-時間特征信息，并具有更高的空間-時間一致性和穩定性。

為實現上述目的，本發明對輸入視頻圖像帶通方向子帶系數進行組合時，構建一種基于時空顯著性檢測的融合規則，其技術方案是首先利用時空結構張量，對輸入視頻帶通方向子帶系數進行時空顯著性特征，將每一個帶通方向子帶劃分成三種區域，即：運動目標區域、空間幾何特征區域和平滑區域；然后利用不同的融合準則對不同區域帶通方向子帶系數分別進行組合，得到融合視頻的帶通方向子帶系數。

本發明的具體步驟如下：

(1)分別輸入兩個已配準的視頻；

(2)獲得子帶系數：

對兩個視頻分別進行三維均勻離散曲波3D-UDCT分解，得到各自的帶通方向子帶系數和低通子帶系數；

(3)將視頻區域劃分三種區域：

對每一個視頻的帶通方向子帶系數利用三維時空結構張量，進行時空顯著性檢測，將視頻區域劃分為運動目標區域、空間幾何特征區域和平滑區域三種區域；

(4)獲得融合后視頻的帶通方向子帶系數：

4a)對運動目標區域的帶通方向子帶系數，按照基于能量選擇的融合策略進行組合，得到運動目標區域內融合后視頻的帶通方向子帶系數；

4b)對空間幾何特征區域的帶通方向子帶系數，按照基于相似度選擇和加權平均相結合的融合策略進行組合，得到空間幾何特征區域內融合后視頻的帶通方向子帶系數；

4c)對平滑區域的帶通方向子帶系數，按照加權平均融合策略進行組合，得到平滑區域內融合后視頻的帶通方向子帶系數；

(5)獲得融合后視頻的低通子帶系數：