[發明專利]一種壓縮域視頻鏡頭突變與漸變聯合自動分割方法及系統

無效

• 申請號: 200910090794.4
• 申請日: 2009-08-06
• 公開（公告）號: CN101650830A
• 公開（公告）日: 2010-02-17
• 發明（設計）人: 高麗;王東輝;劉明剛;鄢社鋒;侯朝煥
• 申請（專利權）人: 中國科學院聲學研究所
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/40
• 代理公司: 北京法思騰知識產權代理有限公司
• 代理人: 楊小蓉

1.一種壓縮域視頻鏡頭突變與漸變聯合自動分割方法，包括如下步驟：

1)首先在每個視頻鏡頭起始的位置，選擇若干視頻圖像幀構建一個訓練樣本集，針對樣本集中的每幀視頻圖像，為其分別提取Y分量，Cb分量和Cr分量的DC圖像，并針對該樣本集中的每幀的三個分量的DC圖像，分別通過首尾連接每一個DC圖像的每一行，將二維圖像矩陣形式轉換為一維列向量形式，

假設DC圖像的大小為h×w，通過首尾連接圖像的每一行，得到N＝h×w維的圖像矢量X_k：

假定選擇M個圖像矢量組成訓練樣本集，用矩陣P表示，這是一個N×M大小的矩陣，其中，N＞＞M，每一幀的圖像矢量作為該矩陣的列向量，

P＝[X₁，X₂，X₃，......，X_M-1，X_M]；

2)針對步驟1)所構建的DC圖像樣本集，進行主成份分析，計算得到該樣本集的特征值和相應的特征向量：

計算矩陣P的協方差矩陣，

C＝PP^T

對協方差矩陣C計算特征值λ_i和相應的特征向量e_i；

3)針對步驟2)所得到的特征向量，僅保留最大特征值對應的特征向量，由其構造新的一維特征子空間，用矩陣φ表示，最大特征值對應的特征向量是其列向量，至此，通過訓練樣本集的主成份分析，成功構建三個分量Y，Cb和Cr對應的新特征子空間；

4)接著，將樣本集之后的視頻圖像作為檢測幀，檢測鏡頭發生變化的位置，

針對當前檢測圖像幀，從鏡頭起始位置處開始，分別針對Y分量、Cb分量、Cr分量三個分量，利用步驟1)所述的方法，分別提取各自的DC圖像，并且將各分量的DC圖像向步驟3)所構造的各分量的特征子空間中進行投影，從而提取得到各分量的一維投影系數，

利用矩陣φ，視頻序列的每幀圖像X_k對應的矢量向該子空間進行投影，獲得一維投影系數Y_k：

Y_k＝φ^TX_k

這里，k代表幀數；

5)根據步驟4)的結果，聯合Y分量、Cb分量、Cr分量三個分量對應的三個一維投影系數，構造特征集：

6)根據步驟5)所提取的特征集V_k，利用L1范數，計算連續視頻幀的特征差異，用1幀時域間隔不相似性d_k(V_k，V_k+1)代表：

7)根據步驟6)計算得到的1幀時域間隔不相似性d_k(V_k，V_k+1)，基于滑動窗口的突變鏡頭分割準則，對當前幀是否為突變鏡頭進行判別，判斷準則包括：

a)當前幀的一維投影系數的絕對差是關于當前幀對稱的時間窗口中的最大值，即

d_k≥d_i，

i＝k-m+1，...，k-1，k+1，...，k+m-1

這里，所述滑動窗口的大小N_a＝2m-1，其中，k代表當前幀的時間序號，m代表以當前幀為中心在時間域分別向前和向后移動的幀數，

b)該時間窗口中，最大的絕對差值是第二大絕對差值的3～5倍，

這里，max{·}表示最大的絕對差值，?表示第二大的絕對差值，

如果同時滿足上述兩個判別準則，則判斷為當前幀發生鏡頭突變，則停止對當前鏡頭變換的搜索，然后，將跳轉到所述步驟1)，開始對新出現的相鄰的下一個鏡頭變換進行檢測，否則，將繼續執行下面的步驟8)；

8)如果判斷出當前幀沒有發生鏡頭突變，則在以當前幀為對稱中心的滑動窗口內，針對步驟6)計算得到的1幀時域間隔不相似性d_k(V_k，V_k+1)進行一維低通濾波，從而得到新的1幀時域間隔不相似特征，用于漸變鏡頭的判斷：

選擇另一個相對于當前幀對稱的一維時間滑動窗口，然后，利用一維低通濾波器作用于該時間窗口內的1幀時域間隔不相似性d_k(V_k，V_k+1)，即d_i(i＝k-n+1，...，k-1，k，k+1，...k+n-1)，并從得到的低通濾波結果中，選取其中的最大值作為當前幀新的檢測特征b_k，用于漸變鏡頭的檢測，

b_k＝max{B_i|i＝k-n+1，...，k-1，k，k+1，...，k+n-1}?

這里，滑動窗口大小N_g＝2n-1，而B_i表示時間窗口內各元素的低通濾波結果，n代表以當前幀為中心在時間域分別向前和向后移動的幀數；

9)根據步驟8)所提取的1幀時域間隔不相似特征b_k，通過基于以當前幀為對稱中心的滑動窗口方法，為當前幀提取出表征漸變特性的兩個參數：前向比率R_f(k)和后向比率R_b(k)，

假設當前幀k的前向窗口和后向窗口大小分別為N_f和N_b，則前向窗口的均值和后向窗口的均值分別為：

其中，?為前向窗口的均值，而?為后向窗口的均值，

由此，分別通過下述公式計算得到前向比率R_f(k)和后向比率R_b(k)：

10)根據步驟9)所提取的兩個表征參數：前向比率R_f(k)和后向比率R_b(k)，根據下述決策準則確定用來檢測候選的鏡頭漸變，用于檢測候選的鏡頭漸變的決策準則包括：

a)鏡頭漸變引起的局部曲線峰的起始幀的前向比率R_f(k)高于自適應閾值T_p，而同時它的后向比率R_b(k)低于自適應閾值T_p，與此同時，起始幀的前向比率R_f(k)是一個局部極大值；

b)鏡頭漸變引起的局部曲線峰的結束幀的前向比率R_f(k)低于自適應閾值T_p，而同時它的后向比率R_b(k)高于自適應閾值T_p，與此同時，結束幀的后向比率R_b(k)是一個局部極大值；

c)鏡頭漸變引起的局部曲線峰持續階段，視頻幀的前向比率R_f(k)和后向比率R_b(k)均低于自適應閾值T_p；

滿足上述三個準則的局部曲線峰作為候選鏡頭漸變，繼續執行下面的步驟11)，來最終判定其是否為真正的鏡頭漸變；

11)根據步驟10)所得到的作為候選鏡頭漸變引起的局部曲線峰，自適應地確定出當前漸變鏡頭的時域長度，進行N幀時域間隔的不相似性度量，分別對局部曲?線峰的起始幀和結束幀直接在壓縮域內提取紋理特征圖，

利用圖像幀在壓縮域中基于塊DCT系數中的AC系數，并且是左上角的三個AC系數，即X(0，1)，X(1，0)和X(1，1)，由此，AC能量圖由下述公式計算得到：

然后，針對該AC能量圖E_ac通過下述公式進行二值化處理：

針對二值化的紋理特征圖MAP_texture利用數學形態學的閉操作與開操作進行后處理，提取到最終的紋理特征圖；

12)根據步驟11)所得到的起始幀和結束幀的紋理特征圖，通過相似性度量方法對局部曲線峰的起始幀和結束幀進行相似程度比較，如果該兩幀的相似程度較高，則判斷為該局部曲線峰沒有發生鏡頭漸變，相似性度量算子如下述公式所示：

如果相似度S高于設定的閾值，則判斷為該局部曲線峰沒有鏡頭漸變發生，則返回所述步驟4)，開始對下一個檢測幀的操作，反之，如果相似度S小于等于設定的閾值，則判定發生鏡頭漸變，從而返回所述步驟1)，開始下一個鏡頭變換的檢測。