[發明專利]一種基于場景結構分析的城市監控視頻融合方法

有效

• 申請號: 201510833248.0
• 申請日: 2015-11-25
• 公開（公告）號: CN105516654B
• 公開（公告）日: 2018-10-26
• 發明（設計）人: 趙剛
• 申請（專利權）人: 華中師范大學
• 主分類號: H04N7/18
• 分類號: H04N7/18;G06T17/00;G06T7/00
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 嚴彥

本發明提供一種基于場景結構分析的城市監控視頻融合方法，針對固定攝像頭進行的配準過程，包括首先進行監控場景結構分析過程，然后基于場景結構特征分析結果，尋找三維模型紋理與實時視頻場景中典型結構的匹配關系和攝像頭內外參數，確定相應圖像配準信息，實現固定攝像機實時監控視頻的融合顯示；針對可控攝像頭進行的配準過程，包括建立動態全景索引圖并記錄配準參考點信息，在實時匹配過程中根據動態全景索引圖快速查找配準參考點，獲取正確的配準信息，從而實現可控攝像機實時監控視頻的融合顯示。本發明通過場景結構保證視頻配準融合的準確性和魯棒性；同時通過動態全景圖快速找到配準參考點，實現實時監控視頻的融合。

技術領域

本發明涉及計算機視覺及增強現實技術領域，尤其是一種基于場景結構分析的城市監控視頻融合方法。

背景技術

隨著社會對安全需求的日益重視和提高，視頻監控在現實生活中的應用越來越廣，作用也越來越大。目前傳統視頻監控系統采用在多個屏幕(電視墻)上顯示監控視頻流，由于缺乏攝像頭位置信息的直觀顯示，監視人員無法及時將眾多屏幕上顯示的監控圖像進行內容和位置的關聯分析和判斷。

基于增強虛擬環境(Augmented Virtual Environment,AVE)的三維全景監控技術，能夠將實時監控視頻與監控區域三維虛擬模型進行配準融合，形成較單個攝像頭視域廣得多的大場景監控畫面，并提供監控位置感知和定位功能，對監控區域的宏觀態勢感知和展示具有重要意義。基于AVE的視頻監控技術的核心在于監控視頻實時融合問題，即如何快速、高效、準確地實現監控視頻與監控區域三維模型的精確融合。然而，在城市戶外復雜監控場景下，由于光照、遮擋、圖像質量等環境因素，監控視頻的實時融合與配準算法的準確性和魯棒性尚無法得到有效保證；另一方面，攝像機的運動姿態可能變化，此時視頻融合系統應實時提供最佳虛擬視角的視頻融合畫面。但由于視頻配準算法的計算量大，視頻融合算法的實時性問題也成為亟需解決的主要問題。在實際的視頻監控應用中，監控場景往往是復雜和多變的，AVE系統的發展和應用受到了嚴重制約。

針對固定攝像機監控視頻實時融合問題，目前主要有基于圖像特征匹配的視頻配準與融合方法和基于能量反饋的視頻配準方法兩大類。基于圖像特征匹配的方法被廣泛應用于現有的各種商業系統中，如GoogleEarth、微軟虛擬地球等。主要是將攝像機拍攝的2D圖像能夠以紋理的形式映射到三維模型中的對應位置。基于攝像機標定和能量反饋的視頻配準方法通過人工指定視頻和模型之間的點線對應關系，利用射影幾何知識自動求解攝像機內外參數，再將這些內參數和外參數關聯到模型中的虛擬攝像機上，從而實現固定攝像機的視頻投影。目前存在的主要問題是對攝像機的安裝位置和角度條件過于苛刻，尤其是在城市室外復雜監控環境，結果容易受到光照和背景的影響，在實際應用中缺乏魯棒性，攝像頭標定的工作量也相當可觀。

對于可控攝像機，攝像機運動姿態的變化要求視頻融合方法能夠進行動態配準，一類方法是根據攝像機姿態估計結果，將模型中的多邊形平面投影到視頻幀中，形成局部邊緣增強的圖像，并計算圖像的方向能量，選擇方向能量最小的姿態估計為可控攝像機的最佳姿態估計，并進而實現可控攝像機的視頻投影；另外一種是基于全景圖匹配的視頻實時準算法，其主要思路是首先創建一組不同焦距模式下的全景圖，通過手工方式選擇2D點、線特征并標記其在3D模型中的對應位置，計算全景圖與三維模型的配準關系。在攝像機姿態發生變化時，通過圖像特征匹配的方式，尋找實時圖像與全景圖的最佳匹配，進而完成配準工作。現有方法主要問題是實時融合中需要進行大量特征提取和匹配運算，具有較大的處理時延，實時性要求無法滿足。

綜上所述，現有研究尚無法完全滿足城市戶外復雜監控場景下，光照、遮擋、圖像質量對監控視頻的實時融合要求，準確性、魯棒性和實時性亟缺乏保證。

發明內容

為了克服現有技術的不足，有效保證城市戶外復雜監控場景下監控視頻融合的準確性、魯棒性和實時性，本發明提出了一種基于場景結構分析的城市監控視頻融合方法，通過場景結構分析和動態全景圖索引解決固定攝像機和可控攝像機的視頻融合問題。