[發(fā)明專利]精細(xì)粒度可伸縮圖像編碼和解碼

無(wú)效

• 申請(qǐng)?zhí)枺?/td>: 200780026010.0
• 申請(qǐng)日: 2007-07-10
• 公開（公告）號(hào): CN101548549A
• 公開（公告）日: 2009-09-30
• 發(fā)明（設(shè)計(jì)）人: 萊塞克·切普林斯基
• 申請(qǐng)（專利權(quán)）人: 三菱電機(jī)株式會(huì)社
• 主分類號(hào): H04N7/26
• 分類號(hào): H04N7/26
• 代理公司: 北京三友知識(shí)產(chǎn)權(quán)代理有限公司
• 代理人: 黃綸偉

技術(shù)領(lǐng)域

本發(fā)明涉及圖像編碼和解碼領(lǐng)域，更具體地，涉及視頻壓縮編碼和解碼領(lǐng)域。

技術(shù)背景

可伸縮視頻編碼旨在通過(guò)按照支持以不同的比特率、幀率和顯示分辨率從同一比特流進(jìn)行高效重構(gòu)的方式來(lái)壓縮原始視頻內(nèi)容，從而解決視頻通信網(wǎng)絡(luò)和終端用戶的興趣的多樣性問(wèn)題。比特率可伸縮性是指在不損失壓縮效率的情況下以精細(xì)分級(jí)的比特率對(duì)壓縮視頻進(jìn)行重構(gòu)的能力。這使得可由多個(gè)用戶來(lái)訪問(wèn)單個(gè)的壓縮比特流，其中每個(gè)用戶利用他/她的全部可用的帶寬。如果不利用比特率可伸縮性，將不得不在網(wǎng)絡(luò)上提供同一視頻數(shù)據(jù)的多個(gè)版本，這極大地增加了存儲(chǔ)負(fù)擔(dān)和傳輸負(fù)擔(dān)。可伸縮性的其它重要形式包括空間分辨率和幀率(時(shí)間分辨率)可伸縮性。這些形式使得能夠以各種顯示分辨率來(lái)高效地重構(gòu)壓縮視頻，由此滿足了各種類型的終端用戶裝置的不同性能。

新興的可伸縮視頻編碼標(biāo)準(zhǔn)(將成為ISO/IEC?14496-10/AMD2和ITU-T?Recommendation?H.264annex?F；在Joint?Video?Team的文檔JVT-S201中能夠找到當(dāng)前的草案Joint?Draft?6)的當(dāng)前草案支持被稱為精細(xì)粒度可伸縮編碼(FGS：fine?granularity?scalability)的特定形式比特率可伸縮性，其使得能夠以基本上任何比特率來(lái)切分比特流。這是通過(guò)利用漸進(jìn)細(xì)化的形式來(lái)執(zhí)行變換系數(shù)的編碼而實(shí)現(xiàn)的。該技術(shù)以近似于比特率失真優(yōu)化方式對(duì)塊中的系數(shù)比特進(jìn)行排序，并且能夠有效地發(fā)信號(hào)通知細(xì)化被傳入的順序。這意味著當(dāng)丟棄一些比特的時(shí)候，剩余的比特使得能夠盡可能與留下這些數(shù)量比特的情況同樣好地重構(gòu)原始?jí)K。在由Weipeng?Li發(fā)表在IEEE?Transactions?on?Circuits?and?Systems?for?VideoTechnology，vol.11，no.3，March?2001上的Overview?of?Fine?GranularityScalability?in?MPEG-4?Video?Standard中能夠找到對(duì)在先前MPEG標(biāo)準(zhǔn)中實(shí)現(xiàn)的精細(xì)粒度可伸縮編碼的思想的更具體的描述。

在圖1中例示了在單個(gè)增強(qiáng)層情況下的精細(xì)粒度可伸縮編碼方案的處理流程。可以在兩個(gè)部分中考慮編碼過(guò)程。對(duì)基本層的編碼遵循例如在MPEG-4AVC中使用的對(duì)非伸縮性編碼的常見(jiàn)模式，其中ME表示運(yùn)動(dòng)估計(jì)，MC表示運(yùn)動(dòng)補(bǔ)償，T表示空間變換，而Q表示量化。

對(duì)于增強(qiáng)(FGS)層而言，利用空間變換對(duì)原始差分幀和重構(gòu)的基本層差分幀之間的差分進(jìn)行變換，并且以等于在基本層進(jìn)行編碼時(shí)使用的量化步長(zhǎng)的一半的量化步長(zhǎng)來(lái)對(duì)其進(jìn)行量化。之后利用稱為漸進(jìn)細(xì)化的修正熵編碼技術(shù)對(duì)量化后的變換系數(shù)進(jìn)行編碼，該修正熵編碼技術(shù)使得能夠在任意的點(diǎn)對(duì)增強(qiáng)層比特流進(jìn)行切分。如在MPEG-4SVC標(biāo)準(zhǔn)的當(dāng)前草案中所規(guī)定的，可以按照以下多種方式來(lái)進(jìn)行這種截?cái)?truncation)：

1.丟棄與全部FGS層相對(duì)應(yīng)的整個(gè)漸進(jìn)細(xì)化網(wǎng)絡(luò)適配層(NAL：network?adaptation?layer)單元。該方式僅適用于使用多個(gè)FGS層的情況。

2.簡(jiǎn)單截?cái)啵渲幸詽M足比特率限制所必需的百分比來(lái)截?cái)啾忍亓髦凶罡叩目?時(shí)級(jí)別的最末漸進(jìn)細(xì)化NAL單元。

3.質(zhì)量層，其中漸進(jìn)細(xì)化NAL單元被分配有在NAL單元本身中或者在單獨(dú)的消息中發(fā)送的質(zhì)量層標(biāo)識(shí)符。在該情況下，以相同的百分比來(lái)截?cái)嗑哂凶畲罂赡苜|(zhì)量層標(biāo)識(shí)符的所有NAL單元，而不是僅僅截?cái)嘧罡逳AL單元。

上述方案中重要的一點(diǎn)是，對(duì)基本層和增強(qiáng)層二者的運(yùn)動(dòng)補(bǔ)償?shù)膮⒖际侵貥?gòu)的基本層幀。在圖2中例示了這一點(diǎn)，其中F(t，n)是層n中在時(shí)間t處的變換系數(shù)值，并具有下述重要意義。

自適應(yīng)參考精細(xì)粒度可伸縮編碼(AR-FGS：adaptive-reference?finegranularity?scalability)的目的是提高FGS對(duì)低延遲應(yīng)用的性能，其中僅使用了P個(gè)畫面。在這種應(yīng)用情況下FGS的問(wèn)題是，當(dāng)從比特流中移除FGS層以調(diào)節(jié)比特率的時(shí)候，由于使用所得到的重構(gòu)質(zhì)量下降的幀作為用于運(yùn)動(dòng)補(bǔ)償?shù)膮⒖紟肓苏`差。隨著運(yùn)動(dòng)補(bǔ)償?shù)闹貜?fù)，誤差在處理中積累起來(lái)，一般被稱為預(yù)測(cè)漂移(prediction?drift)。如上所述，通過(guò)僅使用基本層參考幀作為運(yùn)動(dòng)補(bǔ)償參考，在MPEG-4SVC標(biāo)準(zhǔn)的當(dāng)前草案中的FGS編碼的“正式”版本中解決了該問(wèn)題。該解決方案避免了漂移問(wèn)題，但是導(dǎo)致了壓縮效率的下降。