[發(fā)明專利]基于顯著性的多視點(diǎn)彩色加深度視頻編碼方法

在審

• 申請?zhí)枺?/td>: 201410097222.X
• 申請日: 2014-03-17
• 公開（公告）號: CN103873876A
• 公開（公告）日: 2014-06-18
• 發(fā)明（設(shè)計）人: 雷建軍;李貞貞;吳媺民;侯春萍;胡春悅;孫婧
• 申請（專利權(quán)）人: 天津大學(xué)
• 主分類號: H04N19/597
• 分類號: H04N19/597;H04N19/137;H04N13/00
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所 12201
• 代理人: 劉國威

技術(shù)領(lǐng)域

本發(fā)明屬于3D視頻編碼領(lǐng)域，涉及一種多視點(diǎn)彩色加深度視頻的聯(lián)合視頻編碼方法。具體講，涉及基于顯著性的多視點(diǎn)彩色加深度視頻編碼方法。

背景技術(shù)

多視點(diǎn)視頻是3D視頻的一種有效表示方法，它是由多個攝像機(jī)從不同視角拍攝同一場景得到的一組視頻信號。3D視頻經(jīng)常需要包含不同數(shù)目或位置的視點(diǎn)，然而目前大多數(shù)3D視頻內(nèi)容是由固定數(shù)目的相機(jī)拍攝而成，并設(shè)定了固定的視點(diǎn)位置，無法支持視點(diǎn)調(diào)整，因而不能實現(xiàn)更加靈活的3D感知。基于深度圖像的虛擬視點(diǎn)繪制技術(shù)(Depth?Image?Based?Rendering,DIBR)是一種利用彩色圖像及其對應(yīng)的深度圖像生成新視點(diǎn)圖像的技術(shù)，它使用3D變換技術(shù)，可以為自由立體顯示提供必要的不同位置的多個虛擬視點(diǎn)，同時也能夠為自由視點(diǎn)電視（Free-Viewpoint?TV,FTV）提供便利，讓用戶在不同視點(diǎn)間自由切換，從而能夠更加真切、自然地感知真實場景，增強(qiáng)3D視覺體驗。

為了能夠在DIBR技術(shù)的基礎(chǔ)上方便靈活地實現(xiàn)視點(diǎn)合成，研究者們提出了將攜帶深度或視差信息的視頻序列和彩色視頻結(jié)合在一起的MVD視頻表現(xiàn)形式。目前已經(jīng)出現(xiàn)了很多基于MVD的虛擬視點(diǎn)繪制技術(shù)，考慮到彩色視頻和深度數(shù)據(jù)都會對合成的視點(diǎn)質(zhì)量產(chǎn)生影響，研究者們主要關(guān)注了如何調(diào)整編碼時彩色和深度視頻之間的比特分配來優(yōu)化碼率控制或者在解碼之后采取一些措施來提高合成虛擬視點(diǎn)的視頻質(zhì)量。如朱高峰等探討了彩色視頻量化步長和深度視頻量化步長的關(guān)系并提出二次模型，進(jìn)一步得出聯(lián)合比特分配方法來提高合成視點(diǎn)的率失真性能。Oh等人提出了空洞填補(bǔ)與修復(fù)技術(shù)結(jié)合來修復(fù)合成視點(diǎn)中的去遮擋區(qū)域和錯誤的深度值，以此同時從主觀和客觀上改善繪制視點(diǎn)的質(zhì)量。

發(fā)明內(nèi)容

本發(fā)明旨在克服現(xiàn)有技術(shù)的不足，尤其克服傳統(tǒng)虛擬視點(diǎn)中對象及運(yùn)動對象邊界模糊的問題，提高虛擬視點(diǎn)的質(zhì)量，為此，本發(fā)明采取的技術(shù)方案是，基于顯著性的多視點(diǎn)彩色加深度視頻編碼方法，包括下列步驟：

1）計算當(dāng)前幀的運(yùn)動顯著性

根據(jù)當(dāng)前編碼幀對應(yīng)的前一幀，計算當(dāng)前幀與前一幀的差值，利用兩幀之間信息的差值來判定當(dāng)前幀中對象的運(yùn)動顯著性，其中視頻的第一幀被認(rèn)為是靜止的，沒有運(yùn)動；

2）計算當(dāng)前幀的深度顯著性

提取當(dāng)前編碼視頻對應(yīng)的深度視頻，利用深度視頻本身的深度信息提取深度顯著性；

3）計算當(dāng)前幀的深度邊界

提取當(dāng)前編碼視頻對應(yīng)的深度視頻，基于Sobel算子提取深度視頻的邊界；

4）提取視頻的顯著性區(qū)域

彩色視頻的顯著性區(qū)域R_color綜合利用深度顯著性和運(yùn)動顯著性得到，具體如下:

R_color(i,j)=D(i,j)∪M(i,j)

其中D(i,j)為(i,j)處彩色視頻對應(yīng)的深度顯著性；M(i,j)為(i,j)處的彩色視頻的運(yùn)動顯著性；

深度視頻的顯著性區(qū)域R_depth綜合利用深度顯著性、運(yùn)動顯著性和深度邊緣得到，具體如下:

R_depth(i,j)=D(i,j)∪M(i,j)∪E(i,j)

其中，D(i,j)為(i,j)處的深度顯著性；E(i,j)為(i,j)處的深度邊界顯著性；M(i,j)為(i,j)處的深度視頻的運(yùn)動顯著性。

5）確定視頻的顯著性區(qū)域與背景區(qū)域之間的最優(yōu)量化參數(shù)差異△QP

在彩色視頻和深度視頻的編碼中，當(dāng)前編碼宏塊的QP值計算為：

其中，l是分層B幀的分層等級；△QP表示顯著性區(qū)域與背景區(qū)域之間的量化參數(shù)差異；QP_l是指時間層l的QP值，具體如下：