[發(fā)明專利]一種基于HEVC平臺對深度圖像和彩色圖像的編碼壓縮方法

在審

• 申請?zhí)枺?/td>: 201610064984.9
• 申請日: 2016-01-29
• 公開（公告）號: CN106612431A
• 公開（公告）日: 2017-05-03
• 發(fā)明（設(shè)計(jì)）人: 范勇;胡成華
• 申請（專利權(quán)）人: 四川用聯(lián)信息技術(shù)有限公司
• 主分類號: H04N19/137
• 分類號: H04N19/137;H04N19/625;H04N19/61;H04N19/96;G06T9/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

所屬領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)信息技術(shù)領(lǐng)域，具體地涉及圖像壓縮領(lǐng)域。

背景技術(shù)

近年來，隨著科技發(fā)展，人類不僅僅滿足于靠輸入指令來實(shí)現(xiàn)人機(jī)互動，更加希望通過電腦自動識別圖像信息以實(shí)現(xiàn)指令的傳輸，而深度圖像和彩色圖像的獲取為此帶來了希望和前景，例如人機(jī)交互中的行為檢測、目標(biāo)識別、跟蹤、前景背景分割和三維重建等。存儲或傳輸如此大量的深度和彩色數(shù)據(jù)需要高效的壓縮方案來減少數(shù)據(jù)量。大部分的壓縮標(biāo)準(zhǔn)針對彩色圖像視頻編碼設(shè)計(jì)。他們對深度圖像的壓縮效率并不高，在設(shè)計(jì)時(shí)并沒有充分考慮深度圖像的結(jié)構(gòu)特性。我們觀察知道，深度圖像常常在物體內(nèi)具有光滑性而在物體邊界處具有急劇的變化。傳統(tǒng)的二維小波或者二維DT變換對于這樣的高頻內(nèi)容編碼效率不高。有研究者提出了基于邊緣的預(yù)測和變換方法來避免跨邊緣的操作，同時(shí)顯式地編碼用于標(biāo)記邊緣位置的掩膜(mask)信息、形狀自適應(yīng)小波被用于壓縮深度和彩色圖像，其共同的用于標(biāo)記邊緣信息的掩膜圖像顯式地被編碼。為了避免引入大量高頻系數(shù)，小波濾波器作用的區(qū)域不跨越圖像的邊緣(edges)。還有學(xué)者提出了使用線性模型來逼近深度圖像平面的描述性方法。

發(fā)明內(nèi)容

針對上述不足之處，本發(fā)明提出一個(gè)基于目標(biāo)的壓縮方案，同時(shí)適用于深度圖像和彩色圖像目標(biāo)的壓縮編碼系統(tǒng)，該系統(tǒng)是基于高效視頻壓縮標(biāo)準(zhǔn)HEVC平臺的。

本發(fā)明的目的是：提升圖像的壓縮效率和傳輸速度。

本發(fā)明為實(shí)現(xiàn)上述目的所采取的技術(shù)方案是：一種基于HEVC平臺對深度圖像和彩色圖像的編碼壓縮方法。實(shí)現(xiàn)過程如下：首先，將輸入的深度圖像和彩色圖像進(jìn)行分割，利用彩色圖像的邊緣特性協(xié)助深度圖像的分割；然后，彩色圖像進(jìn)行基于目標(biāo)掩膜圖像的編碼，而深度圖像進(jìn)入預(yù)處理過程后在進(jìn)行編碼，分別輸出彩色圖像視屏碼流、掩膜位流、深度圖像視屏位流。

本發(fā)明的有益效果是：1、對彩色和深度圖像壓縮在設(shè)計(jì)上實(shí)現(xiàn)了一致，即深度和彩色圖像可用同一個(gè)編碼器進(jìn)行壓縮。2、在深度圖像壓縮中，不同的目標(biāo)平面獨(dú)立編碼，大大提高了在目標(biāo)邊界處的編碼效率。3、使用HEVC作為開發(fā)平臺，HEVC在彩色圖像視頻壓縮中有著較高的編碼效率。

附圖說明

圖1：該方法的總體流程圖

圖2：深度圖像獲取示意圖

圖3：深度圖像優(yōu)化示意圖

具體實(shí)施方式

本發(fā)明充分研究了深度圖像中物體邊界處有急劇的變化而物體內(nèi)或背景區(qū)域比較光滑的這一特性，在HEVC平臺上設(shè)計(jì)了基于目標(biāo)的編碼和壓縮方案，包括目標(biāo)的編碼、分割、預(yù)處理等過程，該方法同時(shí)適用于深度圖像和彩色圖像。

一種基于HEVC平臺對深度圖像和彩色圖像的編碼壓縮方法，該方法的實(shí)施步驟如下：

步驟1：對輸入的彩色圖像進(jìn)行圖像分割；

步驟2：分解出目標(biāo)前景、背景、掩膜；

步驟3：在編碼前對深度圖像進(jìn)行優(yōu)化處理；

步驟4：掩膜編碼

步驟5：深度圖像和彩色圖像編碼

步驟6：圖像解碼

以下，結(jié)合圖1到圖3對本發(fā)明進(jìn)行詳細(xì)說明。

一、該方法的系統(tǒng)框架

如圖1所示，首先需要在輸入的深度和彩色圖像上進(jìn)行自動分割以獲得不同的目標(biāo)平面，即前景和背景。掩膜(Mask)圖像用來表示分割結(jié)果。根據(jù)掩膜圖像，我們對深度圖像進(jìn)行預(yù)處理以便使其目標(biāo)邊界和彩色圖像的目標(biāo)邊界一致。掩膜圖像由設(shè)計(jì)的掩膜編碼器進(jìn)行無損編碼。深度和彩色圖像分別由提出的目標(biāo)基的編碼器進(jìn)行壓縮，該編碼器是基于HEVC設(shè)計(jì)的。

為了減少編碼掩膜圖像的比特消耗，讓深度和彩色圖像共用掩膜圖像。但是這需要目標(biāo)平面的分割情況在彩色和深度圖像上保持一致。作為對同一場景在相同時(shí)刻的獲取，深度和彩色圖像有著極高的相關(guān)性。對于深度數(shù)據(jù)的獲取，離攝像頭太近或太遠(yuǎn)的場景可能會捕獲不到，從而出現(xiàn)數(shù)據(jù)缺失，這會在圖像中呈現(xiàn)出黑色的洞。當(dāng)物體表面反射性太強(qiáng)時(shí)或者出現(xiàn)遮擋時(shí)，也會出現(xiàn)由于數(shù)據(jù)缺失帶來的黑洞。另外，由于計(jì)算深度的散斑匹配算法本身的局限性，物體邊界處獲得的深度值經(jīng)常不太可靠。這也導(dǎo)致了深度圖像中物體邊界和彩色圖像中的物體邊界并不十分對齊。為了獲得對齊的深度和彩色序列數(shù)據(jù)，我們將根據(jù)彩色圖像的信息對深度圖像進(jìn)行預(yù)處理。

二、圖像分割