[發(fā)明專利]一種基于虛擬參考幀的幀內(nèi)編碼方法

在審

• 申請?zhí)枺?/td>: 201410196016.4
• 申請日: 2014-05-12
• 公開（公告）號: CN103929641A
• 公開（公告）日: 2014-07-16
• 發(fā)明（設(shè)計）人: 姚春蓮;姜東;李越輝;毛典輝;李素;曹倩
• 申請（專利權(quán)）人: 北京工商大學(xué)
• 主分類號: H04N19/105
• 分類號: H04N19/105;H04N19/176;H04N19/517;H04N19/577;H04N19/154
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術(shù)領(lǐng)域

本發(fā)明涉及一種新的幀內(nèi)編碼方法，尤其涉及一種基于虛擬參考幀的幀內(nèi)編碼，屬于計算機(jī)視覺技術(shù)領(lǐng)域。

背景技術(shù)

計算機(jī)性能、網(wǎng)絡(luò)帶寬和移動終端處理能力的不斷提高，對視頻處理提出了速度、性能等方面的新需求。為了不斷提高壓縮性能，ITU和ISO組織推出了一系列視頻編碼標(biāo)準(zhǔn)，包括ITU組織的H.26x系列和ISO組織的MPEG-x系列標(biāo)準(zhǔn)，以及最新制定的HEVC標(biāo)準(zhǔn)。最新的HEVC標(biāo)準(zhǔn)致力于滿足于用戶的1)高清，2)3D，3)移動無線，以滿足新的家庭影院、遠(yuǎn)程監(jiān)控、數(shù)字廣播、移動流媒體、便攜攝像、醫(yī)學(xué)成像等新領(lǐng)域的需求。在HEVC標(biāo)準(zhǔn)中有多種配置模式，包括HE(High?Efficiency)高性能、LC(Low?Complexity)低復(fù)雜度配置。

這些編碼標(biāo)準(zhǔn)所采用的基本編碼框架相同，多采用運動補(bǔ)償+DCT的基本框架。這種框架下視頻幀一般分為l(Intra-frame)、P(Predictive-frame)、B(BidirectionaIIy?predicted-frame)三種類型：l幀在預(yù)測時，不參考其它幀的信息，通過變換、量化等過程完成編碼；P幀以前向已編碼幀的重建圖像為參考，進(jìn)行運動補(bǔ)償后編碼殘差；B幀則以前后雙向已編碼幀的重建圖像為參考，進(jìn)行運動補(bǔ)償后編碼殘差。

在三種類型的視頻幀中，I幀是關(guān)鍵幀，起到碼流容錯的作用。I幀編碼過程中一般只利用了空間相關(guān)性，所以壓縮比一般比較低。雖然在一個視頻序列里，l幀的個數(shù)比較少，但其每幀編碼位數(shù)卻遠(yuǎn)高于P、B幀。例如，在H.264標(biāo)準(zhǔn)中，I幀的編碼位率是P幀的3～5倍；在HEVC標(biāo)準(zhǔn)中，隨著新的幀間預(yù)測技術(shù)的引入，I幀與P幀的壓縮比進(jìn)一步擴(kuò)大，在某些視頻中，可以達(dá)到1∶10。對于輸出碼率恒定(CBR)的視頻流，I幀的碼率突然增大，將直接導(dǎo)致減少后續(xù)P/B幀的編碼位數(shù)的下降，進(jìn)而影響到恢復(fù)圖像和預(yù)測圖像的質(zhì)量。提高l幀的壓縮比，不僅對于視頻質(zhì)量的穩(wěn)定性與連續(xù)性起到了至關(guān)重要的作用。

預(yù)測是視頻中常用的提高壓縮比的方法，即根據(jù)圖像特點，利用視頻幀之間及其內(nèi)部的相關(guān)性，以已編碼對象為參考，保留較少的差分信息，減少最終編碼位數(shù)。如何在已編碼的圖像中找到當(dāng)前待預(yù)測對象的最佳匹配源，最大限度地去除冗余信息，使差分信息量達(dá)到最小值，這是預(yù)測的關(guān)鍵所在。由于I幀在序列中的作用，不能采用P/B幀的方式進(jìn)行幀間預(yù)測，只能采用幀內(nèi)預(yù)測，即在當(dāng)前圖像內(nèi)部尋找相似對象。幀內(nèi)預(yù)測多采用“空間相鄰點預(yù)測”，也即基于圖像的空域相關(guān)性，認(rèn)為圖像上各點與其空間相鄰點具有相似性，通過搜索找到相似點后，進(jìn)行差分編碼。

H.264標(biāo)準(zhǔn)中采用的幀內(nèi)預(yù)測以16×16的宏塊及4×4的塊為基本預(yù)測單元，對塊內(nèi)各點在9個方向上進(jìn)行預(yù)測。以4×4塊為例，如圖1(a)所示，a，b，…，p為當(dāng)前待預(yù)測塊，周圍17個點Q，l，…，P為已編碼點。對a-p逐點，沿圖1(b)所示的0，1，…，8及方向2(DC預(yù)測)共九個方向，取P-Q-H中的點，用適當(dāng)?shù)念A(yù)測公式計算預(yù)測值，與原始采樣值做差分，差值最小的模式為最終預(yù)測模式，最后對預(yù)測殘差系數(shù)進(jìn)行DCT編碼。

在最新的HEVC標(biāo)準(zhǔn)中，引入了CU(編碼單元)，PU(預(yù)測單元)，TU(變換單元)，三個新的概念。編碼單元類似于H.264/AVC中的宏塊概念，其大小最大可以為64×64；預(yù)測單元是進(jìn)行預(yù)測的基本單元；變換單元是進(jìn)行變換和量化的基本單元。三個單元的分離，使得變換、預(yù)測和編碼各個處理環(huán)節(jié)更加靈活，也更符合視頻圖像的紋理特征。預(yù)測單元的大小可以為4×4，8×8，16×16，32×32，64×64，塊的大小不同，預(yù)測的模式也不相同，分別為17，34，34，34，和3種模式可選.統(tǒng)一的幀內(nèi)預(yù)測角度為：+/-[0，2，5，9，13，17，21，26，32]/32。

H.264/HEVC標(biāo)準(zhǔn)進(jìn)行幀內(nèi)編碼時，對每一待編碼的象素點均采用多種預(yù)測模式，但只是利用了待預(yù)測塊的上一行，左一列數(shù)據(jù)，在這個數(shù)據(jù)范圍內(nèi)，采用近乎窮舉的預(yù)測點搜索方法進(jìn)行預(yù)測，如果圖像相鄰點間相關(guān)性很差，這種預(yù)測不僅不會使圖像數(shù)據(jù)量減少還會因記錄模式信息等因素引入更多的冗余信息。

也就是說，幀內(nèi)編碼的核心是：是否存在足夠的相似點，以提高預(yù)測的準(zhǔn)確度，直接決定預(yù)測的效果；如何找到相似點的位置，它決定整個預(yù)測過程的運算復(fù)雜度。

發(fā)明內(nèi)容