[發明專利]一種多尺度視頻表示與瀏覽方法

有效

• 申請號: 201210557460.5
• 申請日: 2012-12-20
• 公開（公告）號: CN103067781A
• 公開（公告）日: 2013-04-24
• 發明（設計）人: 王宏安;馬翠霞;鐘康
• 申請（專利權）人: 中國科學院軟件研究所
• 主分類號: H04N21/472
• 分類號: H04N21/472;H04N21/4728;G06F3/01
• 代理公司: 北京君尚知識產權代理事務所(普通合伙) 11200
• 代理人: 余長江

1.一種多尺度視頻表示和瀏覽方法，其步驟包括：

1）在輸入端對待處理視頻進行預處理，用戶可對所述待處理視頻進行手勢輸入和/或注釋，所述預處理包括：

1-1）對待處理視頻進行鏡頭分割并提取視頻關鍵幀；

1-2）根據所述視頻關鍵幀進行感興趣區域ROI提取，得到關鍵幀ROI圖像；

1-3）將所述關鍵幀ROI圖像進行聚類和分層處理，得到ROI聚類結果及分層結構；

1-4）對所述步驟1）中視頻關鍵幀進行草圖風格化處理，生成關鍵幀草圖，完成預處理；

2）預處理完成后的視頻按照順序或打亂時序加載下述多尺度表示形式，

表示1：根據所述ROI聚類及分層信息加載得到增強時間軸；

表示2：根據用戶在添加的視頻草圖注釋和所述步驟1-3）中分層結果加載得到多層次草圖注釋；

表示3：根據所述步驟1-4）中關鍵幀草圖和所述步驟1-3）中聚類和分層結果加載得到草圖摘要；

表示4：根據所述步驟1-1）中待處理視頻關鍵幀和所述步驟1-3）中聚類結構加載得到關鍵幀摘要；

3）輸出端根據用戶的手勢輸入選擇上述一種或多種方法對該視頻進行瀏覽，輸出瀏覽結果。

2.如權利要求1所述的多尺度視頻表示和瀏覽方法，其特征在于，所述步驟1-1）關鍵幀提取的方法為：根據鏡頭邊界檢測方法和關鍵幀顏色直方圖將待處理視頻分割為多個鏡頭。

3.如權利要求1所述的多尺度視頻表示和瀏覽方法，其特征在于，所述步驟1-2）得到關鍵幀的ROI圖像方法如下：

3-1）根據全局對比度將圖像分割成若干塊，

3-2）利用顏色直方圖計算每塊圖像的顏色概率分布，并根據該分布計算每兩塊在圖像顏色空間中的距離，

3-3）將所述每一塊與其它所有塊距離之和作為該塊的顯著值，得到圖像顯著圖，

3-4）以所述顯著圖的重心為中心對原關鍵幀進行裁剪，對所述圖像顯著圖進行二值化處理，得到關鍵幀的ROI圖像。

4.如權利要求1所述的多尺度視頻表示和瀏覽方法，其特征在于，所述步驟1-3）中得到ROI聚類結果cj=argimini∈B{d(rj(T),i)}mini∈B{d(rj(T),i)}≤30mini∈B{d(rj(T),i)>3]]>及分層結構gj=d(rj(T),cj)cj≠04cj=0,]]>其中，參數含義如下：

表示在10*10的網絡，共有100個神經元，網絡中任意兩個神經元的距離；

是每個時刻t按照隨機順序將ROI的特征向量放入神經網絡計算其響應的神經元，其中A是所有神經元的集合，i為神經元，j為ROI編號；

wi(t+1)=wi(t)+a(t)(x-wi(t))d(i,rj(t))<D(t)wi(t)d(i,rj(t))≥D(t)]]>為更新神經元的權值；

B是最終聚類的集合；b(t')是最終的聚類中心；

是神經元響應強度，代表映射到該神經元的ROI數目，T為終止時刻。