[發(fā)明專利]一種降低立體視頻深度圖編碼復(fù)雜度的方法

有效

• 申請?zhí)枺?/td>: 201710794281.6
• 申請日: 2017-09-06
• 公開（公告）號: CN107592538B
• 公開（公告）日: 2019-07-23
• 發(fā)明（設(shè)計）人: 喻莉;黎天送;王晟偉;王鴻奎
• 申請（專利權(quán)）人: 華中科技大學(xué)
• 主分類號: H04N19/147
• 分類號: H04N19/147;H04N19/176;H04N19/597
• 代理公司: 華中科技大學(xué)專利中心 42201
• 代理人: 廖盈春;李智

本發(fā)明公開了一種降低立體視頻深度圖編碼復(fù)雜度的方法，主要用于降低3D?HEVC中深度圖像邊緣的編碼復(fù)雜度，包括：用K均值聚類將輸入的深度圖PU塊像素分為兩個差異明顯的類別，生成K均值聚類模板；計算K均值聚類模板與在編碼初始化時生成的楔形分割模板的相似匹配度，并記錄最佳相似匹配度和它所對應(yīng)的楔形分割模板的索引值；根據(jù)最佳相似匹配度確定尋找最佳楔形分割模板的搜索半徑，計算搜索半徑內(nèi)所有楔形分割模板的率失真，找到率失真最小的最佳楔形分割模板。本發(fā)明摒棄了需要在編解碼端提前儲存楔形節(jié)點的搜索方式，節(jié)省了系統(tǒng)緩存，降低了DMM1模式的計算復(fù)雜度，能夠在保證編碼質(zhì)量的同時平均節(jié)省7.1％的總編碼時間。

技術(shù)領(lǐng)域

本發(fā)明屬于基于3D-HEVC的視頻編碼技術(shù)領(lǐng)域，更具體地，涉及一種在3D-HEVC中深度視頻編碼技術(shù)中降低立體視頻深度圖編碼復(fù)雜度的方法。

背景技術(shù)

近些年，繼3D電影行業(yè)產(chǎn)生巨大成就后，3D立體視頻已經(jīng)受到學(xué)術(shù)界和工業(yè)界越來越多的關(guān)注，并得到大量的實踐應(yīng)用，例如，由HHI(Heinrich Hertz Institute)開發(fā)的現(xiàn)場視頻會議，3D電影和微軟的3D游戲(XBOX)等。原理上，3D場景感覺是通過同時給觀眾的左右眼呈現(xiàn)不同的視頻而實現(xiàn)。3D視頻編碼拓展(JCT-3V)的the Joint CollaborativeTeam正在開發(fā)一種新的3D視頻編碼標準，被稱為3D-HEVC。3D-HEVC中采用多視圖加深度(multi-view video plus depth，MVD)這種3D視頻格式，每一個視角對應(yīng)一個深度信息。在深度信息的幫助下，來自于解碼端有限的視圖中任意數(shù)目的視圖可以通過基于深度圖像的繪制技術(shù)(the depth-image-based rendering，DIBR)來合成虛擬視角圖像，虛擬視角圖像將用于立體顯示器上顯示3D內(nèi)容。對應(yīng)于3D-HEVC的參考軟件被稱作3D-HTM(3D-HEVC TestModel)。

深度圖像是一幅灰度圖像，它描述的是攝像機和真實物體的距離。深度圖像的特征與紋理圖像有非常大的不同：首先，深度圖像大部分是平滑區(qū)域，平滑區(qū)域被尖銳的邊緣分割開。其次，尖銳邊緣的失真在合成視圖時引起邊緣震蕩效應(yīng)。最后，深度圖像是用于視圖合成的，并不是被觀眾直接觀看。和2D視頻不同，深度圖像需要保存尖銳邊緣而不影響視覺質(zhì)量，這對于3D-HEVC深度圖像編碼來說是一個關(guān)鍵性的任務(wù)。因此深度建模模型(DepthModelling Mode，DMM)被加入3D-HEVC標準中作為一個可選模式來編碼深度圖像。DMM能夠非常靈活地去表現(xiàn)尖銳邊緣，產(chǎn)生了準確的預(yù)測和有效地顯示了邊緣信息。在同等視圖合成質(zhì)量情況下，它能節(jié)約5％的傳輸比特率。

深度建模模型(Depth Modelling Mode，DMM)包括深度建模模式1(DepthModelling Mode1，DMM1)和深度建模模式4(Depth Modelling Mode4，DMM4)兩種技術(shù)，主要是以分割形式的不同來區(qū)分它們。DMM1和DMM4將每一個預(yù)測單元(Prediction Unit，PU)分割為兩個非矩形區(qū)，每個區(qū)域用一個常數(shù)CPV(constant pixel value)表示。如圖1所示，DMM分割模式分為兩類：DMM1是用直線分割的楔形分割法(Wedgelet partition)和DMM4是用任意形狀分割的輪廓分割法(Contour partition)。

對于楔形分割，一個深度塊的兩個區(qū)域是通過一條直線分割的，分割的兩個區(qū)域分別為P1和P2，分割線由起始位置S和終止位置E表示。從圖1中可得，對于模擬信號(左圖)，可以采用線性函數(shù)來表示分割線。而中間圖則描述了離散信號的分割，該塊是一個u_B×v_B大小的采樣矩陣，起始點S和結(jié)束點E對應(yīng)于采樣矩陣的邊界值，用于表示分割線的位置。對于編碼過程中的楔形分割，分割模式將被存儲下來，其存儲的信息包括u_B×v_B大小的一個矩陣，矩陣中的每個元素是一個二進制信息，表示當(dāng)前塊的采樣值屬于P1還是P2。右圖表示為分割好的預(yù)測塊，其中白色部分表示P1區(qū)域，黑色部分表示P2區(qū)域。