[發(fā)明專利]面向交互式應(yīng)用的多視點(diǎn)視頻編碼方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201010155912.8
• 申請(qǐng)日: 2010-04-23
• 公開(kāi)（公告）號(hào): CN101867813B
• 公開(kāi)（公告）日: 2012-05-09
• 發(fā)明（設(shè)計(jì)）人: 劉峰;鄭海棠
• 申請(qǐng)（專利權(quán)）人: 南京郵電大學(xué)
• 主分類號(hào): H04N7/26
• 分類號(hào): H04N7/26;H04N7/32
• 代理公司: 南京經(jīng)緯專利商標(biāo)代理有限公司 32200
• 代理人: 葉連生

技術(shù)領(lǐng)域

本發(fā)明涉及到多視點(diǎn)視頻信號(hào)的編碼壓縮方法，尤其是涉及基于運(yùn)動(dòng)信息跳過(guò)編 碼的面向交互式應(yīng)用的視頻信號(hào)壓縮方法。

背景技術(shù)

多視點(diǎn)視頻是當(dāng)前多媒體領(lǐng)域的研究熱點(diǎn)。作為FTV(自由視點(diǎn)電視)、3DTV(三 維電視)等三維音視頻應(yīng)用中的核心技術(shù)，多視點(diǎn)視頻技術(shù)旨在解決3D交互式視頻 的壓縮、交互、存儲(chǔ)和傳輸?shù)葐?wèn)題。多視點(diǎn)視頻信號(hào)是由相機(jī)陣列對(duì)實(shí)際場(chǎng)景進(jìn)行 拍攝得到的一組視頻信號(hào)，它能提供拍攝場(chǎng)景不同角度的視頻圖像信息，利用其中 的一個(gè)或多個(gè)視頻信息可以合成任意視點(diǎn)的信息，使用戶在觀看時(shí)可以任意改變視 點(diǎn)或者視角，以實(shí)現(xiàn)對(duì)同一場(chǎng)景進(jìn)行的多方位體驗(yàn)。因此，多視點(diǎn)視頻將廣泛應(yīng)用 于面向帶寬與高密度存儲(chǔ)介質(zhì)的交互式多媒體應(yīng)用領(lǐng)域，如數(shù)字娛樂(lè)、遠(yuǎn)程監(jiān)控、 遠(yuǎn)程教育等。

多視點(diǎn)視頻系統(tǒng)可以進(jìn)行多視點(diǎn)視頻信號(hào)的采集、編碼壓縮、傳輸、接收、解 碼、顯示等，而其中多視點(diǎn)視頻信號(hào)的編碼壓縮是整個(gè)系統(tǒng)的核心部分。一方面， 多視點(diǎn)視頻信號(hào)存在著數(shù)據(jù)量巨大，不利于網(wǎng)絡(luò)傳輸和存儲(chǔ)，如何高效地壓縮多視 點(diǎn)視頻數(shù)據(jù)是其應(yīng)用面臨的一個(gè)重要挑戰(zhàn)。另一方面，多視點(diǎn)視頻是一種具有立體 感和交互操作功能的視頻序列，在保證視頻高壓縮率同時(shí)，也要關(guān)注其交互式性能， 使系統(tǒng)具有靈活的隨機(jī)訪問(wèn)、部分解碼和繪制等性能。

利用多視點(diǎn)視頻信號(hào)的時(shí)間相關(guān)性、視點(diǎn)間相關(guān)性，采用運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)、視差 補(bǔ)償預(yù)測(cè)是進(jìn)行多視點(diǎn)視頻信號(hào)編碼壓縮的基本思路。目前大量的研究集中于尋找 一種能最大限度地去除多視點(diǎn)視頻序列時(shí)間上和視點(diǎn)間冗余的編碼方案，如圖2所 示的基于空間-時(shí)間分層B幀的多視點(diǎn)視頻編碼方案。但是對(duì)于大多數(shù)多視點(diǎn)視頻序 列而言，雖然存在時(shí)間相關(guān)性和視點(diǎn)間相關(guān)性，但時(shí)間相關(guān)性卻占了主導(dǎo)地位，所 以對(duì)于基于空間-時(shí)間的分層B幀預(yù)測(cè)結(jié)構(gòu)，在關(guān)鍵幀圖像利用視點(diǎn)間預(yù)測(cè)關(guān)系的情 況下，再對(duì)非關(guān)鍵幀進(jìn)行視點(diǎn)間預(yù)測(cè)對(duì)壓縮效率改善不明顯，并且反過(guò)來(lái)會(huì)大大增 加編碼復(fù)雜度以及在解碼端由于視點(diǎn)間的密切耦合會(huì)大大降低了視點(diǎn)的隨機(jī)訪問(wèn)性 能。

另外，多視點(diǎn)視頻序列除了具有相似的視頻內(nèi)容外，還具有相似的運(yùn)動(dòng)特性， 即其運(yùn)動(dòng)信息同樣具有高度的空間相關(guān)性，特別對(duì)運(yùn)動(dòng)劇烈的區(qū)域，其運(yùn)動(dòng)信息的 空間相關(guān)性要大于時(shí)間相關(guān)性。運(yùn)動(dòng)信息跳過(guò)模式利用了這個(gè)原理，即通過(guò)全局視 差矢量找到相鄰視點(diǎn)中當(dāng)前宏塊的對(duì)應(yīng)宏塊，并導(dǎo)出對(duì)應(yīng)宏塊的運(yùn)動(dòng)信息作為當(dāng)前 宏塊的運(yùn)動(dòng)信息。運(yùn)動(dòng)信息跳過(guò)模式對(duì)傳統(tǒng)的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)進(jìn)行優(yōu)化。當(dāng)運(yùn)動(dòng)信息 跳過(guò)模式為當(dāng)前編碼宏塊的最佳編碼模式時(shí)，只需要用一個(gè)模式標(biāo)志位表明，而不 需要對(duì)殘差進(jìn)行編碼，從而能減少需要傳輸?shù)谋忍財(cái)?shù)，提高壓縮效率。然而通過(guò)全 局視差有時(shí)不能得到當(dāng)前編碼宏塊的最佳運(yùn)動(dòng)匹配信息。

針對(duì)以上問(wèn)題，本發(fā)明采用一種面向交互式應(yīng)用的多視點(diǎn)視頻編碼方法，在保 證高壓縮效率的條件下獲得了低復(fù)雜度利低時(shí)延隨機(jī)訪問(wèn)性能。

發(fā)明內(nèi)容

技術(shù)問(wèn)題：本發(fā)明所要解決的技術(shù)是提供一種面向交互式應(yīng)用的多視點(diǎn)視頻編 碼方法，在保證高壓縮率的同時(shí)，改善多視點(diǎn)視頻的交互式性能。

技術(shù)方案：本發(fā)明面向交互式應(yīng)用的多視點(diǎn)視頻編碼方法，包括以下步驟：

步驟1：多視點(diǎn)視頻序列分為基本視點(diǎn)和增強(qiáng)視點(diǎn)，每個(gè)視點(diǎn)序列都分為關(guān)鍵 幀和非關(guān)鍵幀，選擇中間視點(diǎn)為基本視點(diǎn)，并確定各視頻序列關(guān)鍵幀的視點(diǎn)間參考 關(guān)系，

步驟2：基本視點(diǎn)不參考其它視點(diǎn)，關(guān)鍵幀采用幀內(nèi)預(yù)測(cè)編碼方法；非關(guān)鍵幀 選擇本視點(diǎn)內(nèi)的時(shí)間方向幀為參考幀，進(jìn)行運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)編碼，

步驟3：增強(qiáng)視點(diǎn)的關(guān)鍵幀參考其它視點(diǎn)的關(guān)鍵幀，采用幀內(nèi)預(yù)測(cè)編碼方法或 視差補(bǔ)償預(yù)測(cè)法進(jìn)行編碼，同時(shí)計(jì)算出與參考視點(diǎn)的關(guān)鍵幀之間的全局視差，

步驟4：對(duì)增強(qiáng)視點(diǎn)的非關(guān)鍵幀，利用前后相鄰兩個(gè)關(guān)鍵幀圖像的全局視差進(jìn) 行插值計(jì)算得到每個(gè)非關(guān)鍵幀圖像與參考視點(diǎn)同一時(shí)刻非關(guān)鍵幀之間的全局視差，

步驟5：增強(qiáng)視點(diǎn)的非關(guān)鍵幀不進(jìn)行視差補(bǔ)償預(yù)測(cè)，只進(jìn)行運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)，在 傳統(tǒng)的H.264的宏塊編碼模式的基礎(chǔ)上，根據(jù)運(yùn)動(dòng)信息的視點(diǎn)間高度相關(guān)性原理， 采用自適應(yīng)運(yùn)動(dòng)矢量精細(xì)化的運(yùn)動(dòng)信息跳過(guò)編碼對(duì)圖像進(jìn)行編碼，

步驟6：增強(qiáng)視點(diǎn)非關(guān)鍵幀編碼后設(shè)置每個(gè)宏塊的運(yùn)動(dòng)信息跳過(guò)模式標(biāo)志位， 并寫(xiě)入碼流發(fā)送到解碼端。

步驟7：在解碼端進(jìn)行圖像重建，首先根據(jù)判斷當(dāng)前幀圖像類型，對(duì)參考視點(diǎn) 進(jìn)行部分解碼，然后再解碼當(dāng)前幀圖像。