[發(fā)明專利]基于H.264的立體視頻編解碼方法

無效

• 申請?zhí)枺?/td>: 200910030728.8
• 申請日: 2009-04-15
• 公開（公告）號: CN101540926A
• 公開（公告）日: 2009-09-23
• 發(fā)明（設(shè)計）人: 季曉勇;高民芳;劉芳;蔣里;劉栩;孫立;魯昊明;楊曉琴;黃前山;陳智勇
• 申請（專利權(quán)）人: 南京大學(xué)
• 主分類號: H04N13/00
• 分類號: H04N13/00;H04N7/26;H04N7/50
• 代理公司: 南京天翼專利代理有限責(zé)任公司
• 代理人: 朱戈勝

技術(shù)領(lǐng)域；

本發(fā)明屬于視頻或圖像處理領(lǐng)域，更具體的是在立體視頻處理過程中實現(xiàn)立體視頻單路傳輸?shù)姆椒ê拖到y(tǒng)。

背景技術(shù)

隨著科學(xué)技術(shù)的高速發(fā)展，以計算機(jī)、網(wǎng)絡(luò)和電子技術(shù)為代表的信息技術(shù)獲得了突飛猛進(jìn)的發(fā)展。視頻技術(shù)由黑白到彩色，再到今天的高清晰度數(shù)字視頻，發(fā)展速度也極其迅猛。現(xiàn)代視頻技術(shù)正在向“數(shù)字化”、“高清晰度化”和“立體化”方向發(fā)展。立體技術(shù)是未來視頻技術(shù)的一個重要發(fā)展方向。但是立體視頻數(shù)據(jù)量是單路視頻的2倍，限制了其實際應(yīng)用，因而立體視頻或圖像處理技術(shù)現(xiàn)已經(jīng)成為一個研究熱點。

H.264/MPEG-4?AVC(H.264)是1995年自MPEG-2視頻壓縮標(biāo)準(zhǔn)發(fā)布以后，由ITU-T和ISO/IEC的聯(lián)合開發(fā)組共同開發(fā)的最新國際視頻編碼標(biāo)準(zhǔn)。其最大的優(yōu)勢是具有很高的數(shù)據(jù)壓縮比率，在同等圖像質(zhì)量的條件下，H.264的壓縮比是MPEG-2的2倍以上，是MPEG-4的1.5～2倍，H.264標(biāo)準(zhǔn)也具有更好的信道適應(yīng)性，應(yīng)用前景更為廣泛。這些都為立體視頻編碼技術(shù)提供了良好的平臺，促進(jìn)著立體視頻編碼研究的進(jìn)一步發(fā)展。但是，H.264的高效性是建立在其實現(xiàn)的高復(fù)雜度基礎(chǔ)上的，就其Baseline而言，解碼器復(fù)雜度將是H.263解碼器的3倍左右，而編碼器的復(fù)雜度更是高達(dá)10多倍。H.264的高復(fù)雜度是制約其實時性發(fā)展的一個重要問題。而現(xiàn)有研究很大程度上局限于快速模式選擇、快速匹配，以及如何從單目圖像恢復(fù)雙路圖像，快速算法對復(fù)雜性的改進(jìn)有限，而且與現(xiàn)有的顯示設(shè)備不兼容，單路圖像提取立體信息一方面不能有效利用目前雙路攝像機(jī)已經(jīng)普遍存在的情況下獲取的立體信息，另一方面提取的深度信息精確性很低。因而急需一種在降低立體視頻傳輸系統(tǒng)碼率的基礎(chǔ)上，簡化H.264編解碼器復(fù)雜度的立體圖像處理方法。

發(fā)明內(nèi)容

本發(fā)明的目的是在使用通用H.264編解碼器基礎(chǔ)上實現(xiàn)立體視頻中雙路視頻的單路傳輸，并且接收端可選擇的使用單路視頻解碼或者立體視頻解碼。

一種基于H.264的立體視頻編解碼方法，該方法是在立體視頻數(shù)據(jù)嵌入系統(tǒng)中完成，該系統(tǒng)包括雙路視頻采集端、編碼器模塊、視頻流發(fā)送模塊和視頻解碼/接收端；

所述方法的步驟包括：

1)雙路視頻采集端分別獲取左右眼的視頻圖像，左右眼的視頻圖像分別傳送到各自對應(yīng)的視頻緩存中等待處理；

2)編碼器模塊對所述緩存中的雙路視頻圖像數(shù)據(jù)進(jìn)行處理：

先對運動/視差補償，提取矢量信息；然后在對視頻圖像進(jìn)行H.264編碼過程中將所用矢量信息嵌入到參考圖像中，最終得到視頻流；實現(xiàn)雙路視頻的可單路傳輸性；

(參考圖像是H.264編碼過程中的專有名詞，參考圖像是H.264編碼過程中用于運動補償?shù)耐返那耙粠瑘D像或者視差補償?shù)牧硪宦返耐粠瑘D像。)

3)通過視頻流發(fā)送模塊發(fā)送已編碼視頻流到視頻解碼/接收端，實現(xiàn)立體視頻的單路傳輸；

4)所述視頻解碼/接收端包括普通H.264客戶端和裝有H.264立體圖像解碼器的客戶端；普通H.264客戶端對接收到的視頻流進(jìn)行單路圖像解碼，得到單路視頻顯示；裝有H.264立體圖像解碼器的客戶端根據(jù)嵌入的矢量信息對雙路圖像進(jìn)行恢復(fù)，恢復(fù)得到的雙路圖像分別存入兩個緩沖區(qū)，進(jìn)而立體顯示。

所述步驟2)中，對獲取到雙路視頻并開辟兩個緩沖區(qū)、分別存放兩路圖像后，先進(jìn)行運動補償、視差補償；然后對參考圖像依次進(jìn)行分塊、整數(shù)DCT變換、矢量信息嵌入、量化和編碼步驟得到編碼后的視頻流。

所述步驟3)中，利用無線或有線的方式發(fā)送已編碼視頻流到互聯(lián)網(wǎng)或客戶端。

所述客戶端包括存儲設(shè)備。

視頻發(fā)布服務(wù)器接收通過互聯(lián)網(wǎng)接收到視頻流，再把視頻流傳輸?shù)揭曨l解碼/接收端。

所述步驟4)中，接收端解碼器選擇是單路視頻解碼或立體視頻解碼，如果是單路視頻解碼，將嵌入數(shù)據(jù)位置0，然后進(jìn)行通用H.264解碼，或者直接進(jìn)行通用H.264解碼；如果是立體視頻解碼，開辟兩個緩沖區(qū)，首先提取出嵌入的矢量信息并將嵌入數(shù)據(jù)位置0，將接受到的一路信號存入一個緩沖區(qū)，如果標(biāo)志位為0，則矢量信息為運動矢量V_x、V_y，與緩沖區(qū)前一幀一起利用運動補償模式恢復(fù)此幀；若標(biāo)志位為1，則矢量信息為視差矢量V_x，V_y，與另一緩沖區(qū)當(dāng)前幀一起恢復(fù)此幀。

所述編碼器模塊是DSP處理系統(tǒng)或ARM處理系統(tǒng)。

本發(fā)明的特點是：高效、簡潔，實用性強，實時性方面是一個很大的改進(jìn)，并且有效處理了雙通道數(shù)據(jù)量龐大的問題，在現(xiàn)有單目視頻圖像編碼發(fā)展技術(shù)已經(jīng)成熟的基礎(chǔ)上，實現(xiàn)了高信噪比的條件下高的壓縮比。

附圖說明