[發明專利]一種基于分段的監控視頻內容描述方法

有效

• 申請號: 201310245382.X
• 申請日: 2013-06-20
• 公開（公告）號: CN103347167B
• 公開（公告）日: 2018-04-17
• 發明（設計）人: 張重陽;丁正彥;鄭世寶
• 申請（專利權）人: 上海交通大學
• 主分類號: H04N7/18
• 分類號: H04N7/18;G06F17/30
• 代理公司: 上海漢聲知識產權代理有限公司31236
• 代理人: 郭國中

技術領域

本發明涉及監控視頻描述領域，具體地，涉及一種基于分段的監控視頻內容描述方法。

背景技術

隨著以多媒體為代表的信息技術產業的突飛猛進，人們對生活和工作環境的安全性要求也在不斷提高，監控設施越來越多地出現在各種公共場所。目前，視頻監控系統已經涉及到了社會生活的各行各業，例如交通路口、超市、銀行、車站和居民小區等，與此同時，在各種大型活動場所和重要保衛區域的警衛工作中也配置了許多監控設備，如奧運會場地、人民廣場、世博園區等。

與此同時，由于海量監控視頻數據的出現，完全依靠人工監看的傳統視頻監控系統已經不能滿足需求，人們需要更智能化、自動化、自主化的視頻監控系統，因此智能視頻監控系統成為了提升視頻監控系統效能的主要發展方向。

智能視頻監控技術主要指的是自動地分析和抽取視頻源中的關鍵信息。智能視頻技術借助計算機強大的數據處理功能，對視頻畫面中的海量數據進行高速分析，過濾掉用戶不關心的信息，僅僅為監控者提供有用的關鍵信息，最終實現集視頻采集、視頻分析及描述為一體的智能監控系統。

1.監控視頻內容描述和檢索方法

在智能視頻監控系統中，如何利用計算機從海量的監控視頻中快速地檢索出用戶需要的信息是當前監控領域急需解決的問題之一。

基于內容的視頻檢索方法（Content-Based Video Queries，CBVQ）目前已成為多媒體技術研究領域的熱點，它突破了傳統的基于文本檢索技術的局限，直接對視頻的內容進行分析，抽取特征和語義，利用這些內容特征建立索引并進行檢索，提供了一種符合人類認知規律的高效檢索方法。隨著各種圖像處理技術的進步，尤其是特征提取和目標分類算法的改進，基于內容的視頻檢索方法得到了廣泛的應用，也能夠很好地滿足海量監控視頻的檢索需要。

為了能夠有效地支持基于內容的監控視頻檢索，就需要通過視頻建模將視頻內容的描述信息有效地組織起來。通過對視頻內容信息進行結構化的分層描述，在視頻數據流之外產生一路視頻數據的描述流，從而可以基于描述流進行高效檢索和關聯調閱，這將為海量視頻的快速檢索提供可行的解決方案。

2.監控視頻內容的結構分段

視頻分段是把視頻流分割成一系列有意義、可管理的單元(例如鏡頭)，由于視頻監控設備通常為7×24小時不間斷地采集視頻數據，在生成視頻內容的描述流前必須首先進行合理的結構分段，然后再提取每段視頻的內容描述信息并實時輸出，因此視頻分段是視頻分析與基于內容描述的第一步。

一般來講，可將視頻的結構自下而上地分為圖像幀、鏡頭、場景、視頻四個層次，以便在各個層次上對視頻進行內容分析與描述：

1）視頻：是由一系列靜止圖像在時間上的變化組成的，一般視頻采樣率為24～30幀/秒，也即每秒鐘播放24～30幅圖片，因此人們在觀看視頻時，會有運動的感覺；

2）圖像幀：是視頻結構中的最小單元，是視頻中的一幅靜止圖像；

3）鏡頭：是一個視頻片段，一般是指攝像機一次連續拍攝得到的畫面；

4）場景：一般定義為在時間上連續、語義上相關的連續鏡頭集合。

在監控視頻中，攝像頭的位置通常很長時間不會發生改變，按照鏡頭來實現視頻結構分段的方法一般情況下不適用于監控領域。

與此同時，在對監控視頻的內容進行檢索時，用戶往往更加關注于其中出現的運動目標，因此現有的監控視頻內容描述方法一般首先基于運動目標檢測進行視頻分段，即當檢測到有運動目標進入或離開時，將視頻分作一段。

3.基于MPEG-7的視頻內容信息描述

根據MPEG-7中多媒體描述方案的定義，可以將對視頻內容的描述分為結構信息描述和語義信息描述兩類：

1）結構信息描述

在MPEG-7中，視頻結構信息的描述是建立在對視頻進行分段的基礎上，使用片段描述方案來描述每一片段內的視頻結構信息（包括顏色、紋理、形狀、運動、聲音等特征描述子）。根據定義，片段描述方案是一個抽象類型，按照分段規則的不同可以得到5個具體化的子類型：音頻片段、視頻片段、視聽片段、運動區域以及靜止區域。每種類型片段描述的詳細特征屬性（如圖1所示），同時視頻的分段描述具有遞歸性，即片段可以再被分為更小的片段，形成一棵層次樹。

2）語義信息描述