[發明專利]一種多媒體視頻對象處理方法

有效

• 申請號: 200810062899.4
• 申請日: 2008-07-10
• 公開（公告）號: CN101409831A
• 公開（公告）日: 2009-04-15
• 發明（設計）人: 朱信忠;徐慧英;趙建民;顧海燕;胡丞懿
• 申請（專利權）人: 浙江師范大學
• 主分類號: H04N7/24
• 分類號: H04N7/24;H04N7/26;H04N7/62;G06T5/00;G06T7/20
• 代理公司: 浙江杭州金通專利事務所有限公司
• 代理人: 徐關壽

1.一種多媒體視頻對象處理方法，所述方法包括以下步驟：

(1)標準的MPEG視頻格式的語法結構的最上層是幀圖像組，由三種主要的壓縮類型的圖像幀組成，包括I幀、P幀、B幀；一個幀圖像組可分為3種子類，其特征在于，在處理視頻時，分別對每個子類中各幀的宏塊的類型進行分析，凡是滿足一定規則的，就認為有一個宏塊發生了變化，將各幀發生變化的宏塊個數與總的宏塊個數相比得到鏡頭變化可能程度c，c越接近1，表明鏡頭發生轉換的幾率就越大；設置某個閾值t，若c＞t，則認為場景發生了變化，進行分割；

所述步驟(1)具體包括以下步驟：

(1.1)MPEG視頻中的一個幀圖像組由三種主要的壓縮類型的圖像幀組成，包括I幀、P幀、B幀，其標準結構為：IBBPBBPBBPBBPBB；將幀圖像組分為三類子類：PBBP結構子類，PBBI結構子類和IBBP結構子類；在幀圖像組的所述標準結構中，按順序排列的前一個子類的最后一幀圖像即是后面一個子類的第一幀圖像，所以除幀圖像組第一個子類外只需分析其它子類的最后3幀圖像即可；

(1.2)將可能發生在一個幀圖像組中的場景變換分為三類：變換發生在P幀或I幀，稱為SPI；變換發生在前面的B幀，稱為SFB；變換發生在后面的B幀，稱為SRB；

(1.3)宏塊的變化類型參考以下規則：

(1.3.1)對于SPI而言，兩個B幀圖像B_f和B_r的大多數宏塊都是前向運動補償方式，稱為F模式，它們與后面的參考幀P_r更相似；參考幀P_r為場景變換所在的幀，大多數宏塊都是幀內編碼，稱為I模式；

(1.3.2)對于SFB而言，參考幀P_r中的大多數宏塊也是I模式，但是由于在B幀圖像B_f處鏡頭內容發生了變化，B幀圖像B_f和B幀圖像B_r圖像的內容與后面參考幀的內容相似，因此兩個B幀的大多數宏塊將是后向運動補償方式，稱為B模式；

(1.3.3)對于SRB，由于鏡頭內容在后面的B幀處發生了變化，所以B幀圖像B_f與后面的參考幀不相似，它的大多數宏塊為F模式；而B幀圖像B_r與前面的參考幀不相似，它的大多數宏塊為B模式；

(1.4)在檢測鏡頭時，分別對子類各幀的宏塊類型進行分析，凡是類型關系滿足上述規則之一的，就認為有一個宏塊發生了變化；

(1.5)統計各幀中宏塊發生變化的次數，與總的宏塊數量相比，若大于一定的閾值t，則認為場景發生了變化，進行切割；

(2)預讀兩個要進行拼接的標準MPEG視頻流，分別找到兩個視頻流的節目關聯表，通過節目關聯表找到相應的節目映射表，然后在節目映射表里面得到音頻、視頻和節目時鐘基準的識別符的信息，并尋找合適的拼接場景；

(3)尋找視頻拼接的入點和出點，并對接入的視頻流的各種信息進行調整，主要包括：視頻流的節目專用信息，音頻及視頻傳輸流數據包的識別符，包含節目時鐘基準的傳輸流數據包的識別符，以及所有這些傳輸流數據包的版本號，同時修改第二個視頻流的時間信息；

(4)根據已經存在的視頻拼接點選取合適的音頻拼接點，保證音頻和視頻同步拼接；

(5)設置視頻緩沖區驗證模型，使解碼器輸入端有碼流緩沖區，使不規則的幀邊界規則化；同時通過調節視頻流中空包的數量，將進行拼接的兩個視頻的碼率調整為一致，保證視頻的無縫拼接；

(6)基于變化檢測對視頻圖像進行提取：首先將兩幀彩色圖像轉化為灰度圖像，設置合適的閾值得到灰度幀差掩模圖像，同理取得HSV彩色空間的幀差掩模圖像，兩者進行或運算得到聯合幀差圖像；通過數學形態學的膨脹和腐蝕操作得到運動對象的形狀區域并進行提取；

(7)對得到的運動對象區域經預處理后進行分水嶺變換，并進行時域和空域的區域合并，實現運動對象的精確分割。