[發明專利]基于時空顯著性檢測的多傳感器視頻融合方法

有效

• 申請號: 201310047223.9
• 申請日: 2013-01-25
• 公開（公告）號: CN103095996A
• 公開（公告）日: 2013-05-08
• 發明（設計）人: 張強;陳月玲;陳閔利;王龍
• 申請（專利權）人: 西安電子科技大學
• 主分類號: H04N5/262
• 分類號: H04N5/262;H04N5/265
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 田文英;王品華

1.一種基于時空顯著性檢測的多傳感器視頻融合方法，包括如下步驟：

(1)分別輸入兩個已配準的視頻；

(2)獲得子帶系數：

對兩個視頻分別進行三維均勻離散曲波3D-UDCT分解，得到各自的帶通方向子帶系數和低通子帶系數；

(3)將視頻區域劃分三種區域：

對每一個視頻的帶通方向子帶系數利用三維時空結構張量，進行時空顯著性檢測，將視頻區域劃分為運動目標區域、空間幾何特征區域和平滑區域三種區域；

(4)獲得融合后視頻的帶通方向子帶系數：

4a)對運動目標區域的帶通方向子帶系數，按照基于能量選擇的融合策略進行組合，得到運動目標區域內融合后視頻的帶通方向子帶系數；

4b)對空間幾何特征區域的帶通方向子帶系數，按照基于相似度選擇和加權平均相結合的融合策略進行組合，得到空間幾何特征區域內融合后視頻的帶通方向子帶系數；

4c)對平滑區域的帶通方向子帶系數，按照加權平均融合策略進行組合，得到平滑區域內融合后視頻的帶通方向子帶系數；

(5)獲得融合后視頻的低通子帶系數：

對于每一個視頻的低通子帶系數，按照加權平均的融合策略進行組合，得到融合后視頻的低通子帶系數；

(6)獲得融合后的視頻：

將融合后視頻的帶通方向子帶系數和低通子帶系數，進行三維均勻離散曲波3D-UDCT逆變換，得到融合視頻。

2.根據權利要求1所述的基于時空顯著性檢測的多傳感器視頻融合方法，其特征在于：步驟(3)中所述的視頻區域劃分步驟如下：

第一步，構建結構張量矩陣：在時空點p(x，y，t)處，將視頻沿x、y和t方向求導，構建一個3×3的結構張量矩陣S(p)，其中x、y表示時空點的空間坐標，t表示時空點的時間坐標；

第二步，劃分平滑區域：確定閾值th1，其中，Γ(S)表示結構張量矩陣S(p)的跡，x、y表示時空點p(x，y，t)的空間坐標，當Γ(S)小于th1時，該區域為平滑區域；

第三步，劃分空間幾何區域：確定閾值th2，其中，ε_t表示結構張量矩陣S(p)的最大特征值所對應特征向量的時間分量，|·|表示絕對值，x、y表示時空點p(x，y，t)的空間坐標，t表示時空點p(x，y，t)的時間坐標，當Γ(S)大于等于th1且|ε_t|小于th2時，該區域為空間幾何區域；

第四步，劃分時間運動區域：當Γ(S)大于等于th1且|ε_t|大于等于th2時，該區域為時間運動區域。

3.根據權利要求1所述的基于時空顯著性檢測的多傳感器視頻融合方法，其特征在于：步驟4a)中所述能量選擇的融合策略按照以下步驟實現：

第一步，對輸入的兩個已配準視頻，獲得兩個輸入視頻的能量：在以當前時空位置(x，y，t)為中心，大小為3×3×3的局部區域內，將第一個輸入視頻分解得到的每一個帶通方向子帶系數，計算其在該局部時空區域內絕對值的平方和，得到該局部時空區域內第一個輸入視頻的能量；將第二個輸入視頻分解得到的每一個帶通方向子帶系數，計算其在該局部時空區域內絕對值的平方和，得到該局部時空區域內第二個輸入視頻的能量；

第二步，在該局部時空區域內，比較所獲得的兩個輸入視頻能量的大小；

第三步，當第一個輸入視頻的能量大于第二個輸入視頻的能量時，融合后視頻的帶通方向子帶系數為第一個輸入視頻在該局部時空區域內的帶通方向子帶系數；當第一個輸入視頻的能量小于等于第二個輸入視頻的能量時，融合后視頻的帶通方向子帶系數為第二個輸入視頻在該局部時空區域內的帶通方向子帶系數。