[發明專利]一種視頻標注方法

有效

• 申請號: 201010134073.1
• 申請日: 2010-03-29
• 公開（公告）號: CN101827203A
• 公開（公告）日: 2010-09-08
• 發明（設計）人: 操曉春;張寶;李原
• 申請（專利權）人: 天津大學
• 主分類號: H04N5/14
• 分類號: H04N5/14
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 程毓英

技術領域

本發明屬于視頻處理技術領域，涉及一種視頻標注方法。

背景技術

就目前來說，視頻自動標記相對于圖像標記來說是比較新的領域。視頻的自動標記的目的就是給一個未標記的視頻分配一些能夠反映視頻內容的關鍵字。利用這些關鍵字，以后我們可以進行快速的視頻檢索。

視頻自動標記是一項非常困難的任務，這是有很多原因造成的。首先，使用低級別的特征向量來提取能夠很好表達視頻內容的關鍵字非常困難。其次，確定關鍵字和它在視頻中所指代的區域是一件很難的事情。現有的一些識別視頻內容的技術如3D?SIFT【1】、戶外視頻中真實動作識別(Recognizing?Realistic?Actions?from?Videos“in?theWild”)【2】等僅僅對場景比較簡單的視頻具有很好的效果。這些視頻中的背景一股是不變的，而且是比較簡單的，因此從視頻中很容易提取出前景。3D?SIFT是對2D?SIFT【4】的推廣，它很好的繼承了2D?SIFT在圖像領域的優點，對視頻中的動作描述具有很好的效果。由于很大一部分人沒有攝影技巧，因此在現實中所得到的視頻的由于相機抖動等原因造成視頻質量不好，這時一些動作識別方法如3D?SIFT就無法取得好的效果。【2】提供了一個比較好的方法來解決這個問題，他不僅提取視頻中的動態信息，而且還提取了視頻中的一些靜態信息，通過動態和靜態信息的互補來對視頻中的動作進行識別，達到比較好的效果。但是上述的兩個方法對復雜視頻的效果不是很好。

參考文獻

【1】Paul?Scovanner，Saad?Ali和Mubarak?Shah，《3D?SIFT特征描述符及其在動作識別上的應用》，ACM多媒體大會，2007

【2】JinGen?Liu，Jiebo?Luo和Mubarak?Shah，《戶外視頻中真實動作識別》，計算機視覺與模式識別會議，2009

【3】David?G.Lowe，《從尺度不變關鍵點提取的圖像特征》，國際計算機視覺，2004

發明內容

本發明的目的是克服現有技術的不足，提供一種新的視頻標注方法，它能夠提取視頻中的動態和靜態信息。另外，它不僅對簡單視頻具有效果，還對一些復雜的視頻同樣具有一定的效果。本發明的技術方案是：

一種視頻標注方法，包括下列步驟：

步驟1：對用于訓練的每個視頻，抽取視頻中均勻分布的n幀用于計算Lab特征向量的幀，并提取每個視頻所對應的標簽，建立訓練集；

步驟2：將每一個顏色通道分成n等份，建立n*n*n維的Lab特征向量，按照下列方法，對于訓練集里的每個視頻，分別計算Lab特征向量：首先將該幀的特征向量清零，然后根據被抽取的各個幀的像素值分別計算出它們在視頻Lab特征向量中所對應的位置后，將相應的位置上的值增一，從而得到該視頻的Lab特征向量；

步驟3：讀取用于查詢的視頻，按照步驟2的方法，建立用于查詢的視頻的Lab特征向量；

步驟4：將用于查詢的視頻與訓練集里的各個視頻的Lab特征向量對應的元素分別相減，各得到一個n*n*n維的向量，計算得到的n*n*n維向量的元素的絕對值之和，從而得到用于查詢的視頻與訓練集中的各個視頻的Lab特征向量的距離；

步驟5：按照如下方法進行標簽傳遞：

(1)在訓練集中取出與用于查詢的視頻距離最近的k個視頻；

(2)取出與用于查詢的視頻距離最近的訓練集視頻所對應的標簽，根據各個標簽在整個訓練集中出現的次數對這些標簽進行從大到小排序，取出排在前面的n個標簽標記用于查詢的視頻，如果與用于查詢的視頻距離最近的訓練集視頻的標簽個數不足n個，則記已經傳遞的標簽個數為m(m＜n)，轉到下一步；

(3)對其余的(k-1)個訓練集視頻的沒有標記給用于查詢的視頻的標簽，分別按照這些標簽在訓練集和這(k-1)個視頻中出現的次數構造兩個向量v1和v2，對v1和v2賦予權值x和y，得到v＝x*v1+y*v2，按照v值對這些標簽排序，從中選擇前(n-m)個標簽標注用于查詢的視頻。