[發(fā)明專利]三維視頻編解碼方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201110006090.1
• 申請(qǐng)日: 2011-01-13
• 公開（公告）號(hào): CN102055982A
• 公開（公告）日: 2011-05-11
• 發(fā)明（設(shè)計(jì)）人: 唐慧明;林圣輝;虞露;陳珊莎
• 申請(qǐng)（專利權(quán)）人: 浙江大學(xué)
• 主分類號(hào): H04N7/26
• 分類號(hào): H04N7/26;H04N7/50;H04N13/00
• 代理公司: 杭州宇信知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 33231
• 代理人: 張宇娟

1.一種三維視頻的編碼方法，其特征在于，包括：

輸入一幀圖像，所述一幀圖像包括同一時(shí)刻多個(gè)不同視點(diǎn)的圖像紋理信息和深度信息，構(gòu)成多個(gè)視點(diǎn)的深度像素圖；

將各個(gè)視點(diǎn)的深度像素圖映射到主視點(diǎn)上，并對(duì)主視點(diǎn)視圖的圖像大小進(jìn)行擴(kuò)展，所述主視點(diǎn)的選擇按照預(yù)先約定；

通過運(yùn)動(dòng)目標(biāo)檢測(cè)方法從所述紋理信息中得到運(yùn)動(dòng)信息，利用深度信息和/或運(yùn)動(dòng)信息將映射后的深度像素圖中所有深度像素點(diǎn)重建為一個(gè)背景圖層圖像及一個(gè)或一個(gè)以上前景圖層圖像，并對(duì)背景圖層圖像進(jìn)行時(shí)域累積操作；

將所述背景圖層圖像及前景圖層圖像分別進(jìn)行編碼，其中深度信息和紋理信息分別編碼，并在編碼中實(shí)現(xiàn)圖層間的相互參考；

其中，所述時(shí)域累積操作為：在圖層圖像生成及參考圖像生成時(shí)，利用到以前幀的信息。

2.根據(jù)權(quán)利要求1所述的編碼方法，其特征在于，所述重建背景圖層圖像及前景圖層圖像的方法包括：將映射到主視點(diǎn)的所有深度像素點(diǎn)作為一個(gè)待分配像素集，并

合并像素點(diǎn)，將深度值差異和紋理值差異在預(yù)設(shè)閾值內(nèi)的像素點(diǎn)合并為一個(gè)像素點(diǎn)，新的像素點(diǎn)的像素值為原像素值的平均；

建立背景圖層圖像；

建立前景圖層圖像；

若所述待分配像素集中還有像素點(diǎn)，則重復(fù)執(zhí)行前一步驟，直至分配完所有像素。

3.根據(jù)權(quán)利要求2所述的編碼方法，其特征在于，所述建立背景圖層圖像的方法包括：

針對(duì)每個(gè)像素點(diǎn)，取出所述待分配像素集中深度最深的像素點(diǎn)，與原背景圖層圖像的像素進(jìn)行比較；

若所述深度最深像素點(diǎn)的深度更深，則以該像素點(diǎn)的像素值替換該背景圖層圖像像素值；若深度相同，則將所述深度最深像素點(diǎn)的像素值與原背景圖層圖像像素值加權(quán)平均后替換背景圖層圖像像素值；若深度更淺，則將所述深度最深像素點(diǎn)放回待分配像素集。

4.根據(jù)權(quán)利要求3所述的編碼方法，其特征在于，所述建立前景圖層圖像的方法包括：

針對(duì)每個(gè)像素點(diǎn)，取出所述待分配像素集中深度最小的像素點(diǎn)的像素值，若該像素點(diǎn)已無像素值，則置空或置為該位置背景圖層像素值，構(gòu)成前景圖層圖像。

5.根據(jù)權(quán)利要求4所述的編碼方法，其特征在于，所述建立前景圖層圖像的方法進(jìn)一步包括：

利用所述運(yùn)動(dòng)信息對(duì)待分配像素集中的所有像素點(diǎn)進(jìn)行對(duì)象分割，并利用深度信息進(jìn)行對(duì)象范圍修正，再以對(duì)象為單位從待分配像素集中取出像素值。

6.根據(jù)權(quán)利要求4所述的編碼方法，其特征在于，所述編碼方法在對(duì)各圖層進(jìn)行編碼時(shí)，對(duì)不屬于該圖層的區(qū)域不做編碼或采用跳過模式編碼；且

在生成背景圖層的參考幀時(shí)，對(duì)每個(gè)像素位置，若在本圖層重建圖像對(duì)應(yīng)位置存在重建像素時(shí)，取值為該重建像素值與前一參考幀對(duì)應(yīng)位置像素值的加權(quán)平均值；否則取值為前一參考幀對(duì)應(yīng)位置的像素值；

在生成各個(gè)前景圖層的參考幀時(shí)，對(duì)每個(gè)像素位置，若在本圖層重建圖像對(duì)應(yīng)位置存在重建像素時(shí)，取值為該重建像素值；否則取值為背景圖層參考幀對(duì)應(yīng)位置的像素值。

7.一種基于權(quán)利要求1所述編碼方法的三維視頻解碼方法，其特征在于，包括：

獲取待解碼的輸入碼流；

對(duì)所述輸入碼流解析并熵解碼，獲取編碼信息；

依次對(duì)背景圖層圖像及前景圖層圖像進(jìn)行解碼，得到各圖層的重建圖像，并生成各圖層的參考圖像；

根據(jù)所述各圖層的重建圖像和攝像機(jī)參數(shù)，生成指定視點(diǎn)的輸出圖像。

8.一種三維視頻的編碼裝置，其特征在于，包括：

視頻輸入單元，用于實(shí)現(xiàn)視頻信號(hào)的采集或讀入；

圖層分解單元，用于將輸入視頻中的圖像分解成前景圖層圖像和背景圖層圖像；

圖層編碼單元，用于基于各圖層的重建圖像對(duì)所述前景圖層圖像和背景圖層圖像進(jìn)行編碼；

圖層重建圖像生成單元，用于生成對(duì)應(yīng)圖層的一整幅的重建圖像；

碼流形成單元，用于將圖層編碼單元生成的數(shù)據(jù)組合成一個(gè)符合語法規(guī)則的碼流；

碼流輸出單元，用于實(shí)現(xiàn)對(duì)所述碼流的輸出。