[發(fā)明專利]自由視點(diǎn)四維空間視頻編碼系統(tǒng)的編碼方法

無(wú)效

• 申請(qǐng)?zhí)枺?/td>: 201210180940.4
• 申請(qǐng)日: 2012-06-04
• 公開（公告）號(hào): CN102685532A
• 公開（公告）日: 2012-09-19
• 發(fā)明（設(shè)計(jì)）人: 周莉;王少偉;孫濤;康曉
• 申請(qǐng)（專利權(quán)）人: 山東大學(xué)
• 主分類號(hào): H04N13/00
• 分類號(hào): H04N13/00;H04N7/26;H04N7/50
• 代理公司: 濟(jì)南金迪知識(shí)產(chǎn)權(quán)代理有限公司 37219
• 代理人: 王緒銀

1.一種自由視點(diǎn)四維空間視頻編碼系統(tǒng)的編碼方法，將自由視點(diǎn)四維空間視頻的編碼系統(tǒng)分為兩個(gè)通道；通道一包含平面圖像到柱面圖像的映射模塊、幀內(nèi)預(yù)測(cè)模塊、預(yù)測(cè)模式選擇模塊、離散余弦變換模塊、量化模塊、重排序模塊、熵編碼模塊、運(yùn)動(dòng)估計(jì)模塊、運(yùn)動(dòng)/視差補(bǔ)償模塊、視差估計(jì)以及優(yōu)化模塊、反量化模塊、反離散余弦變換模塊、濾波模塊、柱面全景圖像拼接模塊；通道二包括深度信息的計(jì)算和優(yōu)化模塊、深度信息補(bǔ)償模塊、深度信息的離散余弦變換模塊、深度信息的量化模塊、深度信息的重排序模塊、深度信息的熵編碼模塊、深度信息的反量化模塊、深度信息的反離散余弦變換模塊；通道一的視差估計(jì)以及優(yōu)化模塊與通道二的深度信息的計(jì)算和優(yōu)化模塊連接;其特征在于，編碼方法如下：

平面圖像到柱面圖像的映射模塊對(duì)當(dāng)前待編碼的圖像進(jìn)行映射處理，增加弧度維的信息；一方面幀內(nèi)預(yù)測(cè)模塊對(duì)處理后的帶有弧度維的圖像幀進(jìn)行幀內(nèi)預(yù)測(cè)，找到幀內(nèi)預(yù)測(cè)的最佳預(yù)測(cè)模式和預(yù)測(cè)像素值以及相應(yīng)的絕對(duì)誤差和SAD的值；另一方面，處理后的帶有弧度維的圖像幀還需要進(jìn)行幀間預(yù)測(cè)；在進(jìn)行幀間預(yù)測(cè)過(guò)程中，為了充分利用不同視點(diǎn)間圖像幀之間的相關(guān)性，選用同一視點(diǎn)間和不同視點(diǎn)間的已編碼的圖像作為參考圖像，提高編碼效率；運(yùn)動(dòng)估計(jì)模塊對(duì)處理后的帶有弧度維的圖像幀在時(shí)域參考圖像幀搜索目標(biāo)范圍內(nèi)進(jìn)行運(yùn)動(dòng)估計(jì)，找到當(dāng)前編碼的宏塊在時(shí)域參考圖像中的最佳匹配以及相應(yīng)的運(yùn)動(dòng)矢量；視差估計(jì)以及視差優(yōu)化模塊對(duì)處理后的帶有弧度維的圖像幀在視點(diǎn)間參考圖像幀搜索目標(biāo)范圍內(nèi)進(jìn)行視差估計(jì)，得到當(dāng)前編碼的宏塊在視點(diǎn)間參考圖像中的最佳匹配以及相應(yīng)的三維視差矢量；運(yùn)動(dòng)/視差補(bǔ)償模塊對(duì)運(yùn)動(dòng)估計(jì)模塊和視差估計(jì)以及視差優(yōu)化模塊得到的具有弧度維的運(yùn)動(dòng)矢量和視差矢量經(jīng)過(guò)進(jìn)行補(bǔ)償，得到幀間預(yù)測(cè)的三維運(yùn)動(dòng)/視差矢量和預(yù)測(cè)像素值以及相應(yīng)的SAD值；預(yù)測(cè)模式選擇模塊通過(guò)對(duì)幀內(nèi)預(yù)測(cè)模塊得到的幀內(nèi)預(yù)測(cè)SAD值和運(yùn)動(dòng)/視差補(bǔ)償模塊得到幀間預(yù)測(cè)的SAD值進(jìn)行比較，選擇較小的SAD值所用的預(yù)測(cè)模式作為當(dāng)前幀的最佳預(yù)測(cè)方式，并給出相應(yīng)的預(yù)測(cè)像素值；當(dāng)前待編碼的圖像幀的像素值減去預(yù)測(cè)模式選擇模塊得到的預(yù)測(cè)像素值，從而得到預(yù)測(cè)殘差；離散余弦變換模塊和量化模塊對(duì)預(yù)測(cè)殘差進(jìn)行變換和量化處理，得到殘差系數(shù)；殘差系數(shù)經(jīng)過(guò)重排序模塊以及熵編碼模塊后得到編碼碼流；此外，量化模塊得到的殘差系數(shù)經(jīng)過(guò)反量化模塊和反離散余弦變換模塊后得到重建的殘差；重建的殘差與預(yù)測(cè)模式選擇模塊得到的預(yù)測(cè)像素值相加后得到當(dāng)前幀像素值的重建；然后再經(jīng)過(guò)濾波模塊去除方塊效應(yīng)進(jìn)行圖像增強(qiáng)；柱面全景圖像拼接模塊對(duì)濾波后的圖像進(jìn)行處理，即根據(jù)需要對(duì)圖像進(jìn)行旋轉(zhuǎn)、變焦技術(shù)處理，并對(duì)圖像幀之間存在的冗余像素和盲區(qū)像素進(jìn)行優(yōu)化補(bǔ)償，最終重建出當(dāng)前幀的柱面全景視頻幀，作為后續(xù)圖像幀編碼的參考圖像幀；

在通道二中，深度信息計(jì)算與優(yōu)化模塊利用通道一中的視差估計(jì)以及優(yōu)化模塊得到的三維視差矢量，根據(jù)公式（1）中視差矢量和深度之間的關(guān)系，得到當(dāng)前幀的具有弧度維的深度信息；深度信息補(bǔ)償模塊根據(jù)深度信息計(jì)算與優(yōu)化模塊得到的深度信息對(duì)參考圖像的深度信息進(jìn)行補(bǔ)償，得到深度差值信號(hào)；深度差值信號(hào)經(jīng)過(guò)深度信息的離散余弦變換模塊、深度信息的量化模塊、深度信息的重排序模塊以及深度信息的熵編碼模塊后得到深度信息的編碼碼流；此外，深度信息的量化模塊得到的差值系數(shù)經(jīng)過(guò)深度信息的反量化模塊、深度信息的反離散余弦變換模塊后得到重建的差值；重建的差值和深度信息補(bǔ)償模塊得到的深度信息預(yù)測(cè)值相加后，重建出當(dāng)前幀的深度信息；

若將通道二功能禁止，編碼的碼流中沒有深度維信息，得到的是柱面全景視頻編碼碼流；若將通道一中弧度計(jì)算模塊設(shè)置為無(wú)效，此時(shí)編碼的碼流沒有弧度信息，得到的是平面立體視頻編碼碼流；若同時(shí)將通道一中弧度計(jì)算模塊設(shè)置為無(wú)效，將通道二功能禁止，則得到二維視頻編碼碼流。