[發明專利]一種基于場景結構分析的城市監控視頻融合方法

有效

• 申請號: 201510833248.0
• 申請日: 2015-11-25
• 公開（公告）號: CN105516654B
• 公開（公告）日: 2018-10-26
• 發明（設計）人: 趙剛
• 申請（專利權）人: 華中師范大學
• 主分類號: H04N7/18
• 分類號: H04N7/18;G06T17/00;G06T7/00
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 嚴彥

1.一種基于場景結構分析的城市監控視頻融合方法，其特征在于：根據攝像頭類型進行相應配準過程，攝像頭類型包括固定攝像頭和可控攝像頭，

所述固定攝像頭的位置和焦距都固定，針對固定攝像頭進行的配準過程，包括首先進行監控場景結構分析過程，然后基于場景結構特征分析結果，尋找三維模型紋理與實時視頻場景中典型結構的匹配關系和攝像頭內外參數，確定相應圖像配準信息，實現固定攝像機實時監控視頻的融合顯示；

其中，

所述監控場景結構分析過程包括以下步驟，

步驟1.1，場景視覺修正，包括采用視頻曝光度校正和視頻顏色校正方法，對三維模型紋理圖像和實時視頻圖像分別進行視覺修正；

步驟1.2，低層場景結構特征提取與修補，包括對三維模型紋理圖像和實時視頻圖像，分別基于特征檢測方法和圖像變換方法初步提取低層場景結構特征，通過特征聚類與合并處理，修補和優化低層場景結構特征信息；所謂低層結構特征為簡單結構特征，包括點、線或面；

步驟1.3，場景分類信息提取，包括針對實際監控視頻場景，查詢預先建立的城市典型監控場景結構分析數據庫，獲取場景分類相關信息，包括當前監控場景所屬的場景類別，以及當前監控場景所屬的類別場景所包含的典型場景結構；

步驟1.4，高層場景結構特征提取，包括對三維模型紋理圖像和實時視頻圖像，分別結合場景分類相關信息，確定當前監控場景應該提取的高層場景結構特征信息，提取相應的高層場景結構特征，并通過位置關聯性分析，建立低層結構特征與高層結構特征的從屬與關聯關系；所謂高層結構特征指組成監控場景的場景結構元素，包括宏觀物體或建筑；

所述尋找三維模型紋理與實時視頻場景中典型結構的匹配關系和攝像頭內外參數，確定相應圖像配準信息，實現方式如下，

步驟2.1，關鍵場景結構選擇，包括對三維模型紋理圖像和實時視頻圖像，分別從場景結構特征分析結構中選擇在監控場景中占主體部分的高層場景結構作為候選關鍵場景結構；

步驟2.2，場景結構匹配，包括對三維模型紋理圖像和實時視頻圖像，分別從候選關鍵場景結構中選擇若干低層場景結構，根據2D-3D坐標配對信息，計算出若干投影矩陣和畸變參數實現投影參數估計，并對多組參數進行加權平均實現投影參數加權與優化，形成相應圖像配準信息；

所述可控攝像頭的位置和焦距能夠調整，可控攝像頭的位置調整為水平轉動或垂直轉動，針對可控攝像頭進行的配準過程，包括建立動態全景索引圖并記錄配準參考點信息，在實時匹配過程中根據動態全景索引圖快速查找配準參考點，獲取正確的配準信息，從而實現可控攝像機實時監控視頻的融合顯示；

其中，

所述構建動態全景索引圖實現方式為，對攝像頭水平/垂直范圍等分為n個區間，獲得n+1個攝像頭可能所處的水平/垂直位置s_j，j∈{0,1,2...,n}；對攝像頭的水平/垂直轉動速度等分為m個區間，獲得m+1個攝像頭水平/垂直轉動速度v_i，i∈{0,1,2...m}；對攝像頭變焦范圍進行r等分，獲得r+1個可能的攝像頭焦距f_l，l∈{0,1,2...,r}；進行以下步驟，

1)初始化l＝0，i＝0，驅動可控攝像機從各起始位置s_j分別轉動到最大運動范圍，j∈{0,1,2...,n}，在各轉動過程中分別進行以下操作，

記錄經過每一個參考位置s_k時的時間t和實時視頻圖像，k∈{j+1,j+2...,n}，然后運用對固定攝像頭進行的配準過程，計算每一個參考位置s_k時的圖像配準信息，形成全過程的配準參考點信息(s_j→s_k,t_k,v_i,f_l,camParam_k,Pic_k)，其中t_k表示攝像頭以水平/垂直轉動角速度從位置s_j到達位置s_k所需的時間，camParam_k表示此位置s_k的圖像配準信息，Pic_k則表示此時的實時視頻圖像信息；最后將所有配準參考點對應的視頻圖像按照順序進行拼接，構成一幅全景圖；

2)判斷是否l＝r，若否則令i＝i+1，采用下一速度v_i，返回步驟1)，若是則記錄下可控攝像頭在不同運動速度下的配準參考點信息及構建的全景圖，進入3)；

3)判斷是否i＝m，若否則令l＝l+1，采用下一焦距f_l，返回步驟1)、2)，是則記錄下可控攝像頭不同焦距模式下的動態配準參考點信息及相應的全景圖，從而得到焦距f_l和水平/垂直轉動速度v為索引的動態全景索引圖。

2.根據權利要求1所述基于場景結構分析的城市監控視頻融合方法，其特征在于：所述在實時匹配過程中根據動態全景索引圖快速查找配準參考點，獲取正確的配準信息，實現方式如下，

在攝像頭尚未運動前，獲取當前攝像頭焦距f_l，將t＝t₀時攝像頭的實時視頻圖像在焦距為f_l的全景圖中進行匹配，找出當前攝像頭起始位置s_j；

當攝像頭開始運動后，通過攝像頭運動參數提取獲得攝像頭當前轉動速度v_i和方向，并開始計時，記為t；所述方向為水平轉動或垂直轉動，

在當前時間t＝t_k時，以(s_j→s_k,v_i,f_l)作為參數在相應方向的動態全景索引圖中進行查找，包括對t＝t_k時攝像頭的實時視頻圖像進行降噪預處理后，基于實時圖像特征提取結構在動態全景索引圖中尋找匹配的子圖，獲取相應的配準參考點信息(s_j→s_k,t_k,v_i,f_l,camParam_k,Pic_k)；將t＝t_k時攝像頭的實時視頻圖像與(s_j→s_k,t_k,v_i,f_l,camParam_k,Pic_k)和(s_j→s_k+1,t_k+1,v_i,f_l,camParam_k+1,Pic_k+1)兩個位置的子圖分別進行匹配，匹配度高的位置相應的配準信息則作為正確的最終配準信息。