[發(fā)明專利]深度圖像的壓縮恢復(fù)方法、裝置、設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201710524546.0
• 申請日: 2017-06-30
• 公開（公告）號: CN107301662B
• 公開（公告）日: 2020-09-08
• 發(fā)明（設(shè)計）人: 王旭;張乒乒;江健民
• 申請（專利權(quán)）人: 深圳大學(xué)
• 主分類號: G06T7/50
• 分類號: G06T7/50;G06T7/529;G06T5/00
• 代理公司: 深圳青年人專利商標(biāo)代理有限公司 44350
• 代理人: 吳桂華

本發(fā)明適用計算機技術(shù)領(lǐng)域，提供了一種深度圖像的壓縮恢復(fù)方法、裝置、移動終端及存儲介質(zhì)，該方法包括：接收輸入的待恢復(fù)深度圖像的恢復(fù)請求，待恢復(fù)深度圖像關(guān)聯(lián)有對應(yīng)的紋理圖像，對紋理圖像和待恢復(fù)深度圖像進(jìn)行預(yù)處理，獲取紋理圖像和待恢復(fù)深度圖像的高頻信息，將紋理圖像的高頻信息、待恢復(fù)深度圖像的高頻信息和待恢復(fù)深度圖像分別輸入到預(yù)設(shè)的深度圖像恢復(fù)模型的Y分支模型、D分支模型和M分支模型，將Y分支模型、D分支模型恢復(fù)得到的特征圖像輸入到M分支模型，通過M分支模型恢復(fù)出待恢復(fù)深度圖像對應(yīng)的深度圖像，從而提高了深度圖像的壓縮恢復(fù)質(zhì)量，進(jìn)而提高了用戶體驗。

技術(shù)領(lǐng)域

本發(fā)明屬于計算機技術(shù)領(lǐng)域，尤其涉及一種深度圖像的壓縮恢復(fù)方法、裝置、設(shè)備及存儲介質(zhì)。

背景技術(shù)

在3D計算機圖形學(xué)中，深度圖像包含了視點與場景物體表面的距離信息。傳統(tǒng)的機器視覺是把三維物體投影成二維圖像，通過物體的特征、圖像數(shù)據(jù)和成像過程之間的關(guān)系來恢復(fù)出三維景物。深度信息在三維重構(gòu)起到了關(guān)鍵的作用。發(fā)送立體視頻(左視圖和右視圖)能夠提供3D體驗，但是具有顯著的限制。為了減少傳輸視圖的數(shù)量，紋理加深度的格式已被廣泛接受。這種方法是將幾個視點的顏色信息和深度信息一起傳輸，然后使用基于深度圖像的渲染(depth-image-based rendering，簡稱DIBR)技術(shù)合成虛擬視圖。重建3D場景需要獲取紋理信息和深度信息，高分辨的深度圖像在存儲和傳輸過程中都會占用大量的空間。因此，深度圖像需要被壓縮，以提高空間的利用率和傳輸效率。但壓縮后的深度圖像會存在模糊、塊狀等失真，這些失真會進(jìn)一步導(dǎo)致3D場景繪制的失真。

有損壓縮能夠用較大的壓縮比壓縮圖像，但有損壓縮的圖像是不可逆的。所以，圖像壓縮恢復(fù)也是人們一直研究的方向。早些年，很多研究者設(shè)計很多種平滑濾波器從空域或者變換域去除塊狀效應(yīng)。Luo等人提出在空域和離散余弦變換(Discrete CosineTransform，簡稱DCT)自適應(yīng)去除塊狀效應(yīng)；Singh等人提出的模型能夠?qū)崿F(xiàn)用不同的濾波器對平滑和不平滑區(qū)域進(jìn)行濾波。形狀自適應(yīng)離散余弦變換(Shape Adaptive DiscreteCosine Transform，簡稱SA-DCT)可能是目前最受歡迎得去塊狀效應(yīng)的方法。通過計算，它能夠變換濾波的形狀大小來重建圖像清晰的邊緣。然而，這些濾波器可能會對圖像進(jìn)行過度平滑，造成圖像的邊緣模糊。

近年來，卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，簡稱CNN)通過訓(xùn)練數(shù)據(jù)來學(xué)習(xí)特征檢測，以其局部權(quán)值共享的特殊結(jié)構(gòu)在語音識別和圖像處理方面有著獨特的優(yōu)越性。CNN在圖像復(fù)原鄰域同樣表現(xiàn)出卓越的性能。Dong等人提出的(Super-ResolutionConvolutional Neural Network，簡稱SRCNN)模型說明了端對端的數(shù)據(jù)通信網(wǎng)絡(luò)(DataCommunication Network，簡稱DCN)存在解決圖像超分辨的潛能。Deeper SRCNN通過增加層數(shù)來使圖像恢復(fù)更好。但是，他們提出的算法主要是對圖像進(jìn)行超分辨分析的,去塊狀的效果較差。偽影消除卷積神經(jīng)網(wǎng)絡(luò)(Artifacts Reduction Convolutional Neural Network，簡稱AR-CNN)在SRCNN的基礎(chǔ)上，針對的JPEG、JPEG2000、Twitter等壓縮后的圖像進(jìn)行恢復(fù)。雖說這是一個更加普遍性的模型，但他們的模型用于恢復(fù)紋理圖像，紋理圖像和深度圖像存在明顯的不同。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種深度圖像的壓縮恢復(fù)方法、裝置、設(shè)備及存儲介質(zhì)，旨在解決由于現(xiàn)有技術(shù)無法提供一種有效的深度圖像的壓縮恢復(fù)方法，導(dǎo)致深度圖像的壓縮恢復(fù)質(zhì)量不好、用戶體驗不佳的問題。

一方面，本發(fā)明提供了一種深度圖像的壓縮恢復(fù)方法，所述方法包括下述步驟：

接收輸入的待恢復(fù)深度圖像的恢復(fù)請求，所述待恢復(fù)深度圖像關(guān)聯(lián)有對應(yīng)的紋理圖像；

對所述紋理圖像和所述待恢復(fù)深度圖像進(jìn)行預(yù)處理，獲取所述紋理圖像和所述待恢復(fù)深度圖像的高頻信息；