[發(fā)明專利]基于網(wǎng)格的立體視頻空間可分級編碼器及其編碼方法

無效

• 申請?zhí)枺?/td>: 200910021617.0
• 申請日: 2009-03-20
• 公開（公告）號: CN101511017A
• 公開（公告）日: 2009-08-19
• 發(fā)明（設(shè)計(jì)）人: 盧朝陽;胡星星;郭大波;焦衛(wèi)東;韓軍功;高全學(xué);李靜
• 申請（專利權(quán)）人: 西安電子科技大學(xué)
• 主分類號: H04N7/26
• 分類號: H04N7/26;H04N7/50;H04N13/00
• 代理公司: 陜西電子工業(yè)專利中心
• 代理人: 王品華;黎漢華

技術(shù)領(lǐng)域

本發(fā)明屬于通信技術(shù)領(lǐng)域，涉及視頻處理，特別是涉及立體視頻的空間可分級壓縮編碼器，可用于使解碼端根據(jù)不同的需求顯示不同分辨率大小的單目和雙目視頻。

背景技術(shù)

隨著多媒體的發(fā)展，視頻業(yè)務(wù)將是未來通信的主要業(yè)務(wù)。視頻分為單目視頻和雙目視頻。單目視頻只能提供平面信息，而不能提供具有深度的圖像；雙目視頻通過提供立體信息，給用戶一種身臨其境的感覺，用戶能獲得更好的視覺效果，但雙目信息量大，通信帶寬資源十分有限，如何有效地壓縮立體視頻成為立體視頻廣泛應(yīng)用的一個前提。隨著網(wǎng)絡(luò)和多媒體的發(fā)展，兩者已密不可分。由于網(wǎng)絡(luò)傳輸條件不穩(wěn)定，要求視頻編碼碼流能在網(wǎng)絡(luò)上漸進(jìn)式傳輸，編碼能夠適應(yīng)網(wǎng)絡(luò)的變化，接收端可以接收到基本質(zhì)量的視頻。目前用戶通過移動設(shè)備訪問多媒體資源的需求在逐漸增加，由于通信環(huán)境的影響、用戶的需求不同、定購的業(yè)務(wù)不同和用戶的終端設(shè)備能力不同，每個用戶所需的視頻碼流就不同，解決這類問題的最好辦法是可分級視頻編碼。可分級視頻編碼，是指通過單一編碼器提供不同層次的碼流。該碼流采用分層格式，第一層提供最基本的解碼質(zhì)量，稱為基本層，其他層提供不同質(zhì)量層次的碼流，這些層稱為增強(qiáng)層。可分級編碼分為時間可分級、質(zhì)量可分級、空間可分級。其中空間可分級使碼流適應(yīng)不同分辨率大小的終端設(shè)備。具有低分辨率的終端只需解碼基本層的碼流，顯示低分辨率的視頻；具有高分辨率的終端可解碼基本層和增強(qiáng)層，顯示高分辨率的視頻。

目前，空間可分級編碼都是應(yīng)用基于塊方法的運(yùn)動估計(jì)，塊中的每一個像素具有相同的運(yùn)動矢量，具有簡單、易于硬件實(shí)現(xiàn)的優(yōu)點(diǎn)。由于每個塊只是考慮簡單的平移，沒有考慮旋轉(zhuǎn)、縮放等運(yùn)動，因此并不能反映實(shí)際的運(yùn)動。這使得塊之間的運(yùn)動不連續(xù)，在低比特編碼情況下，解碼圖像常常出現(xiàn)明顯的塊效應(yīng)。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服上述基于塊方法進(jìn)行空間可分級編碼的不足，提出了一種基于網(wǎng)格的立體視頻空間可分級編碼器及其編碼方法，以避免解碼圖像出現(xiàn)的塊效應(yīng)，提高在低比特率下解碼視頻的顯示效果。

為實(shí)現(xiàn)上述目的，本發(fā)明的立體視頻可分級編碼器包括：左基本層、左增強(qiáng)層、右基本層和右增強(qiáng)層，其中：

左基本層中設(shè)有I幀網(wǎng)格描述單元、第一網(wǎng)格運(yùn)動估計(jì)單元和第一網(wǎng)格運(yùn)動補(bǔ)償單元，用于通過Delaunay三角形網(wǎng)格的運(yùn)動估計(jì)完成時域預(yù)測；

左增強(qiáng)層中設(shè)有第二網(wǎng)格運(yùn)動估計(jì)單元和第二網(wǎng)格補(bǔ)償單元，用于完成網(wǎng)格時域預(yù)測；

右基本層中設(shè)有第三網(wǎng)格運(yùn)動估計(jì)單元和網(wǎng)格視差估計(jì)單元，用于完成網(wǎng)格時域預(yù)測和網(wǎng)格視差估計(jì)；

右增強(qiáng)層中設(shè)有紋理向上采樣單元，用于完成層間紋理預(yù)測；

所述的編碼器左基本層輸出網(wǎng)格節(jié)點(diǎn)運(yùn)動矢量、本地恢復(fù)的紋理信息和基本層的殘差信息到左增強(qiáng)層中，輸出網(wǎng)格節(jié)點(diǎn)的視差矢量到右基本層中；右基本層輸出本地恢復(fù)的紋理信息到右增強(qiáng)層中。

為實(shí)現(xiàn)上述目的，本發(fā)明的立體視頻可分級編碼方法，包括如下步驟：

(1)下采樣輸入的高分辨率立體視頻，得到低分辨率的左右圖像，并對I幀左圖像采用DCT編碼，得到I幀低分辨率左恢復(fù)圖像；

(2)對I幀低分辨率左恢復(fù)圖像進(jìn)行Delaunay三角形網(wǎng)格剖分；

(3)左基本層其他幀利用已得到的網(wǎng)格進(jìn)行網(wǎng)格節(jié)點(diǎn)運(yùn)動補(bǔ)償，得到低分辨率左圖像的預(yù)測圖像；

(4)左增強(qiáng)層將低分辨率圖像中的網(wǎng)格擴(kuò)展到高分辨率圖像中，得到高分辨層的網(wǎng)格，利用高分辨層的網(wǎng)格進(jìn)行網(wǎng)格運(yùn)動補(bǔ)償和層間紋理預(yù)測，得到高分辨率左圖像的預(yù)測圖像；

(5)右基本層利用左低分辨圖像中的網(wǎng)格進(jìn)行網(wǎng)格運(yùn)動補(bǔ)償和視差補(bǔ)償，得到低分辨率右圖像的預(yù)測圖像；

(6)右增強(qiáng)層向上采樣右基本層本地恢復(fù)的圖像，得到高分辨率右圖像的預(yù)測圖像；

(7)由原圖像分別減去所述的低分辨率左圖像的預(yù)測圖像、低分辨率右圖像的預(yù)測圖像和高分辨率右圖像的預(yù)測圖像，得到相對應(yīng)的殘差圖像；由高分辨率左原圖像減去所述的高分辨率左圖像的預(yù)測圖像，得到高分辨率左圖像的殘差圖像，并向上采樣低分辨率左圖像的殘差圖像，得到高分辨率左圖像的預(yù)測殘差圖像，用該高分辨率左圖像的殘差圖像減去高分辨率左圖像的預(yù)測殘差圖像，得到高分辨率左圖像的最終殘差圖像；

(8)對上述每個殘差圖像依次編碼，并將這些編碼數(shù)據(jù)進(jìn)行復(fù)用形成最終碼流。

本發(fā)明具有如下優(yōu)點(diǎn)：