[發(fā)明專利]三維視頻編解碼方法及裝置

有效

• 申請?zhí)枺?/td>: 201110006090.1
• 申請日: 2011-01-13
• 公開（公告）號: CN102055982A
• 公開（公告）日: 2011-05-11
• 發(fā)明（設(shè)計(jì)）人: 唐慧明;林圣輝;虞露;陳珊莎
• 申請（專利權(quán)）人: 浙江大學(xué)
• 主分類號: H04N7/26
• 分類號: H04N7/26;H04N7/50;H04N13/00
• 代理公司: 杭州宇信知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 33231
• 代理人: 張宇娟

技術(shù)領(lǐng)域

本發(fā)明屬于數(shù)字視頻壓縮編碼技術(shù)領(lǐng)域，特別涉及一種針對有靜態(tài)背景場景的三維視頻的高效的編解碼方法及裝置。

背景技術(shù)

近年來，隨著各種多媒體服務(wù)的出現(xiàn)，對虛擬現(xiàn)實(shí)體驗(yàn)的需求正不斷增長，各種三維視頻技術(shù)也在不斷地開發(fā)和推廣應(yīng)用之中。三維視頻的核心在于能依據(jù)不同視點(diǎn)位置提供不同的圖像信息，從而實(shí)現(xiàn)身臨其境的體驗(yàn)。因此，多視點(diǎn)視頻的編碼成為了三維視頻服務(wù)的一個(gè)關(guān)鍵技術(shù)。

最早的多視點(diǎn)視頻編碼采用的是兩路或多路視頻預(yù)測編碼的形式，通過視間參考和幀間參考實(shí)現(xiàn)碼流的壓縮。這種形式的兩路圖像分別提供給用戶的左右兩眼，只能提供一個(gè)固定視角的三維視覺體驗(yàn)。要想用同樣方式實(shí)現(xiàn)自由視角體驗(yàn)，就需要對來自各個(gè)視點(diǎn)的大量視頻序列分別編碼，這將產(chǎn)生非常大的視頻數(shù)據(jù)，無論對存貯還是對傳輸，都有非常高的要求，很難走向?qū)嵱谩?/p>

為解決自由視角問題，隨后出現(xiàn)了編碼一路視頻加一路深度的形式，利用深度信息將主視點(diǎn)圖像映射到其它視點(diǎn)(旁視)上，實(shí)現(xiàn)各個(gè)視角視頻內(nèi)容的動(dòng)態(tài)生成。但是，對于實(shí)際視頻，不可避免地存在主視圖像上被遮擋，而在旁視中因視角不同而顯露出來的區(qū)域，即視頻內(nèi)容遮擋問題，生成的旁視圖像將出現(xiàn)嚴(yán)重的空洞，即無內(nèi)容區(qū)域，無法真正滿足自由視角的需求。

現(xiàn)階段國際上主要采用多路視頻加多路深度(MVD)，特別是兩路視頻加兩路深度的形式，進(jìn)行多視點(diǎn)視頻編碼。由于在一路視頻中被遮擋的部分，一般在另一路中能夠顯露出來，這種形式在一定程度上解決了遮擋問題。多路視頻壓縮的一個(gè)很重要的工具就是視間參考，通過視間的預(yù)測補(bǔ)償去除冗余，實(shí)現(xiàn)數(shù)據(jù)壓縮。但由于視間的參考矢量與幀間運(yùn)動(dòng)矢量不能相互預(yù)測，且視差矢量往往較大，影響了編碼效率；同時(shí)，由于實(shí)際場景的光線問題，不同視的成像差異，以及非整宏塊的物體偏移，視間預(yù)測的效率并不會(huì)很高。

在MVD的基礎(chǔ)上，飛利浦公司又提出了分層深度視頻的表達(dá)方式，將多路視頻均映射到一個(gè)視點(diǎn)上，生成一個(gè)完整的前景圖層和一個(gè)含有補(bǔ)充信息的背景圖層，再進(jìn)行編碼。與MVD相比，這種方法放棄了主視外其它視的客觀質(zhì)量，在保證不錯(cuò)的主觀質(zhì)量的同時(shí)，大幅減少了碼率，并在虛擬生成視上有不輸于MVD的質(zhì)量。但是，受視角范圍限制，生成的視圖邊沿處一般有成片的空洞需要填充；同時(shí)，即使場景的背景并沒有變化，由于前景運(yùn)動(dòng)造成深度圖變化，會(huì)使得作為補(bǔ)充的背景圖層在范圍和內(nèi)容上均有不小的幀間變化，這就影響了背景圖層的預(yù)測編碼，降低了壓縮效率。

本申請人在中國專利申請201010039620.8中公開了一種基于圖層分解的視頻編碼、解碼方法及裝置，有效地提高了普通視頻信號的編碼效率。但該專利沒有考慮三維視頻的編碼特點(diǎn)，不能很好地適用于三維視頻編碼。

目前，多視點(diǎn)視頻編碼技術(shù)還在不斷地研究和應(yīng)用之中，并且，多視點(diǎn)視頻編碼還進(jìn)入了監(jiān)控領(lǐng)域。針對監(jiān)控視頻的特殊性，如背景一般為長期靜止的場景等等，多視點(diǎn)視頻編碼的壓縮效率還能有較大的提升空間。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的目的在于提供一種三維視頻編解碼方法及裝置，用于提高三維視頻的編碼和壓縮效率，特別是用于提升三維監(jiān)控視頻的編碼壓縮效率。

本發(fā)明的實(shí)施例提供了一種三維視頻的編碼方法，包括：

輸入一幀圖像，所述一幀圖像包括同一時(shí)刻多個(gè)不同視點(diǎn)的圖像紋理信息和深度信息，構(gòu)成多個(gè)視點(diǎn)的深度像素圖；

將各個(gè)視點(diǎn)的深度像素圖映射到主視點(diǎn)上，并對主視點(diǎn)視圖的圖像大小進(jìn)行擴(kuò)展，所述主視點(diǎn)的選擇按照預(yù)先約定；

通過運(yùn)動(dòng)目標(biāo)檢測方法從所述紋理信息中得到運(yùn)動(dòng)信息，利用深度信息和/或運(yùn)動(dòng)信息將映射后的深度像素圖中所有深度像素點(diǎn)重建為一個(gè)背景圖層圖像及一個(gè)或一個(gè)以上前景圖層圖像，并對背景圖層圖像進(jìn)行時(shí)域累積操作；

將所述背景圖層圖像及前景圖層圖像分別進(jìn)行編碼，其中深度信息和紋理信息分別編碼，并在編碼中實(shí)現(xiàn)圖層間的相互參考。

本發(fā)明的實(shí)施例還提供了一種三維視頻解碼方法，包括：

獲取待解碼的輸入碼流；

對所述輸入碼流解析并熵解碼，獲取編碼信息；

依次對背景圖層圖像及前景圖層圖像進(jìn)行解碼，得到各圖層的重建圖像，并生成各圖層的參考圖像；

根據(jù)所述各圖層的重建圖像和攝像機(jī)參數(shù)，生成指定視點(diǎn)的輸出圖像。

本發(fā)明的實(shí)施例還提供了一種三維視頻的編碼裝置，包括：

視頻輸入單元，用于實(shí)現(xiàn)視頻信號的采集或讀入；

圖層分解單元，用于將輸入視頻中的圖像分解成前景圖層圖像和背景圖層圖像；