[發明專利]運動估計方法、基于運動估計的多視編解碼方法及裝置

無效

• 申請號: 200710007573.7
• 申請日: 2007-02-08
• 公開（公告）號: CN101242530A
• 公開（公告）日: 2008-08-13
• 發明（設計）人: 史舒娟;陳海
• 申請（專利權）人: 華為技術有限公司
• 主分類號: H04N7/26
• 分類號: H04N7/26;H04N7/32;H04N7/50
• 代理公司: 北京德琦知識產權代理有限公司
• 代理人: 宋志強;麻海明

技術領域

本發明涉及視頻圖像編解碼技術，特別涉及運動估計方法、基于運動估計的多視編解碼方法及裝置。

背景技術

目前的視頻編碼標準如國際電信聯盟(ITU，InternationalTelecommunication?Union)制定的H.261、H.263、H.263+、H.264標準，以及運動圖像專家組(MPEG，Moving?Picture?Experts?Group)制定的MPEG-1、MPEG-2、MPEG-3、MPEG-4等，都是建立在混合編碼(Hybrid?Coding)框架之上的。所謂混合編碼框架是一種混合時間空間的視頻圖像編碼方法，編碼時，先進行幀內、幀間的預測，得到原始圖像預測圖像，以消除時間域的相關性；然后根據原始圖像預測圖像與原始圖像實際圖像的差值，得到殘差圖像，對殘差圖像采用離散余弦變換法或其它的變換法進行二維變換，以消除空間域的相關性；最后對變換后的數據進行熵編碼，以消除統計上的冗余度，再將熵編碼后的數據與解碼所需的包括運動矢量在內的一些變量信息，組成一個編碼碼流，供后續傳輸和存儲用，從而達到壓縮視頻圖像的目的。相應地，在解碼時，對接收到的編碼碼流按照熵解碼、反變換以及預測補償等一系列解碼過程重建出圖像。這里，一幀即為視頻序列中的一個圖像。

由于在單個攝像機拍攝到的視頻序列中，相鄰圖像之間存在著很強的相關性；而在多視視頻編碼領域，采用多個攝像機對同一個場景進行拍攝時，所拍攝到的多個視頻序列的圖像之間也存在較大的相關性，因此，采用預測技術能夠充分利用幀內以及幀間的空間、時間相關性，在消除相關性的基礎上減小碼率，提高壓縮碼流與原始圖像的數據量壓縮比?，F有技術中主要存在兩種預測方法，下面分別予以介紹。

第一種預測方法是利用同一個視頻序列中相鄰圖像之間的時間相關性，對當前圖像進行運動估計。具體而言，已知參考幀在t時刻的運動矢量，利用二維(2D)直接模式預測當前幀在t-i時刻的運動矢量，其中，i表示參考幀與當前幀的時間差值。為后續描述方便，將該方法稱為單視編碼運動估計算法。

在多視編碼中，同一時刻相鄰視之間存在很強的相關性，上述單視編碼運動估計算法沒有很好地利用這種空間相關性，使得編碼效率較低。

第二種預測方法是在第一種預測方法的基礎上利用多視幾何中各視間的相關性，即利用參考視圖像與當前視圖像之間的視差圖像，由參考視圖像預測當前視圖像。在單視或多視編碼中，為了進行預測，通常將編碼圖像分為三類，分別稱為I幀，P幀和B幀。其中，I幀采用幀內編碼方式，P幀采用前向幀間預測方式，B幀采用雙向幀間預測方式。下面以8個攝像機、且每個攝像機取連續9幀圖像為一組的情況為例，說明現有視頻聯合工作組(JVT)多視時空編碼框架中多視編碼方法的實施過程。

圖1為現有JVT中提出的多視時空編碼框架示意圖。參見圖1，S0～S7分別代表8個攝像機所拍攝到的視頻序列；T代表時刻，各視在T0～T8時刻所對應的圖像即為各視頻序列中的連續9幀，也稱為一個視頻段；圖中箭頭表示：箭頭目的幀是由箭頭源幀預測得到的。圖1所示框架中，S0、S2、S4、S6和S7視的編碼先于其相鄰視，該編碼方法包括以下步驟：

(1)對T0時刻和T8時刻S0視的I幀進行幀內編碼，分別得到該兩個時刻的I幀；再以T0時刻S0視的I幀預測T0時刻S2視的P幀、T8時刻S0視的I幀預測T8時刻S2視的P幀；以T0時刻S2視的P幀預測T0時刻S4視的P幀、T8時刻S2視的P幀預測T8時刻S4視的P幀，同理得到S6視和S7視在T0時刻和T8時刻的P幀；

(2)以T0時刻S0視的I幀和T0時刻S2視的P幀預測T0時刻S1視的B幀、T8時刻S0視的I幀和T8時刻S2視的P幀預測T8時刻S1視的B幀；同理，得到S3和S5視T0時刻和T8時刻的B幀；

(3)對于S0、S2、S4、S6和S7視，采用如前所述的單視編碼運動估計算法，分別以各視T0時刻和T8時刻的P幀預測T4時刻的B幀，并以T0時刻的幀和T4時刻的B幀預測T2時刻的B幀、以T4時刻的B幀和T8時刻的幀預測T6時刻的B幀，再以T0時刻的幀和T2時刻的B幀預測T1時刻的B幀、以T2時刻的B幀和T4時刻的B幀預測T3時刻的B幀、以T4時刻的B幀和T6時刻的B幀預測T5時刻的B幀、以T6時刻的B幀和T8時刻的幀預測T7時刻的B幀。