[發明專利]一種基于分段的監控視頻內容描述方法

有效

• 申請號: 201310245382.X
• 申請日: 2013-06-20
• 公開（公告）號: CN103347167B
• 公開（公告）日: 2018-04-17
• 發明（設計）人: 張重陽;丁正彥;鄭世寶
• 申請（專利權）人: 上海交通大學
• 主分類號: H04N7/18
• 分類號: H04N7/18;G06F17/30
• 代理公司: 上海漢聲知識產權代理有限公司31236
• 代理人: 郭國中

1.一種基于分段的監控視頻內容描述方法，其特征在于，該方法包括以下步驟：

步驟一、檢測運動目標并提取其底層特征：針對監控視頻檢索過程中用戶通常更關注運動目標的特點，首先檢測視頻中出現的運動目標，并對檢測到的目標作實時地跟蹤，在跟蹤過程中，利用當前幀所檢測到的運動目標位置對跟蹤結果進行修正，與此同時根據MPEG-7標準提供的算法，逐幀提取運動目標的顏色、紋理、形狀以及空間位置特征，并保存在該目標的緩存中；

步驟二、視頻分段：視頻分段由相應的起始幀和結束幀確定，首先將輸入視頻序列的第一幀作為當前視頻段的起始幀，然后當檢測到監控視頻中有運動目標進入或者離開時，將視頻的上一幀作為當前視頻段的結束幀，則當前視頻段結束，實時地生成該視頻段的內容描述信息，并封裝成IP包發送，同時將視頻的當前幀作為新視頻段的起始幀，每個視頻段的目標數目在其分段間隔內保持不變，且各段之間不存在交叉重疊；若檢測到某一運動目標離開，還需要實時地生成相應目標的內容描述信息，并封裝成IP包發送；

步驟三、基于上述分段準則對視頻內容信息進行描述：在一視頻段結束時實時地生成該視頻段的內容描述信息，并按照固定的格式形成XML描述流打包輸出，同時釋放相應信息所在緩存；在檢測到一目標離開視頻，實時地將該目標的描述信息按照固定的格式形成XML描述流打包輸出，同時釋放相應信息所在緩存；為了減少描述信息的冗余，目標的底層特征描述信息為該目標單幀提取的底層特征的統計值；

在步驟三中，視頻段的內容描述信息按照固定的格式形成XML描述流，是利用XML語言來描述視頻段中各項內容信息，形成一個固定結構的層次化內容描述框架，即在任意一個視頻段元素中，包含視頻段ID，視頻段的起始幀和結束幀序列號以及各個目標之間的空間關系；視頻目標的描述信息按照固定的格式形成XML描述流，是利用XML語言來描述視頻目標的各項內容信息，形成一個固定結構的層次化內容描述框架，即在任意一個視頻目標元素中，包含目標的類別和ID、目標的起始幀和結束幀序列號、目標的底層特征以及相應視頻段ID集合；

所述各個目標之間的空間關系，是通過對各個目標之間的空間關系進行逐幀分析，判斷空間關系在時間域的變化情況并直接對其進行描述，以減少空間關系描述信息的冗余；

所述目標的起始幀和結束幀序列號，是將目標出現在視頻的第一幀提前若干幀數作為目標的開始幀，同時將目標的最后一幀推遲若干幀數作為目標的結束幀；若干幀數是指預先設定的誤差允許范圍，以保證所得到描述包含一個運動目標的完整信息；

所述目標的底層特征描述信息，是該目標單幀提取的底層特征的統計值，是通過對運動目標單幀提取的特征值作均值濾波或中值濾波，獲得每個運動目標底層特征的統計值，同時通過多項式曲線擬合的方法生成目標的運動軌跡，即基于目標在每一幀的空間位置的二維坐標進行一次擬合或者二次擬合，輸出擬合曲線的參數值；

所述相應視頻段ID集合，是在某個目標出現的時間間隔內，包含若干個視頻段，通過ID索引到相應視頻段，以及相關的視頻段內容描述信息；

步驟四、基于上述描述信息流進行目標檢索：輸入目標類別關鍵詞，利用目標的類別描述信息找到相應目標，同時輸入顏色或特征關鍵詞，結合目標的底層特征描述信息進行檢索，找到相應目標后，將目標的起始結束幀信息和相應視頻段ID作為檢索結果返回。

2.根據權利要求1所述的一種基于分段的監控視頻內容描述方法，其特征在于，在步驟一中檢測視頻中出現的運動目標，是利用混合高斯模型對背景進行建模，以此找到每一幀中與背景不同的運動目標，并保存每個目標的位置信息；對檢測到的目標作實時地跟蹤，是當檢測到新目標后，利用新目標的位置信息對跟蹤作初始化，然后采用跟蹤算法對該目標進行跟蹤，并返回目標在每一幀的位置信息；在跟蹤過程中利用相應的運動目標檢測結果，即當前幀中所有運動目標的位置信息，對不準確的跟蹤結果進行修正。

3.根據權利要求1-2任一項所述的一種基于分段的監控視頻內容描述方法，其特征在于，所述方法進一步包括：針對某些監控視頻中長時間未出現運動目標而導致視頻流無法正常分段的問題，采用按照時間進行分段的策略，即通過時間準則進行分段，對視頻段設置一個幀數上限，對于超過該幀數的視頻流進行強制分段，避免出現長時間無分段的情況。

4.根據權利要求1-2任一項所述的一種基于分段的監控視頻內容描述方法，其特征在于，所述方法進一步包括：針對某些監控視頻中運動目標過多而導致難以全部檢測并以此完成視頻分段的問題，采用選擇性分段的策略，即根據特定的運動目標進行分段，選擇用戶感興趣的運動目標。