[發明專利]一種視點合成預測編碼方法、解碼方法、對應的裝置及碼流

有效

• 申請號: 201210125366.2
• 申請日: 2012-04-25
• 公開（公告）號: CN103379349A
• 公開（公告）日: 2013-10-30
• 發明（設計）人: 趙寅;虞露
• 申請（專利權）人: 浙江大學
• 主分類號: H04N13/00
• 分類號: H04N13/00;H04N7/32
• 代理公司: 杭州宇信知識產權代理事務所(普通合伙) 33231
• 代理人: 張宇娟

技術領域

本發明及一種多媒體通信領域，具體涉及一種視點合成預測編碼方法、解碼方法、對應的裝置及碼流。

背景技術

三維視頻(3D?video)序列包括多路(通常為2路)圖像序列(包含紋理信息)和對應的深度(depth)序列(包含深度信息，即圖像中各像素對應三維空間中的物體與攝像機之間的距離)，通常也被稱為MVD(multi-view?video?plus?depth)格式。三維視頻序列包含若干個訪問單元(access?unit)，一個訪問單元包括多個(兩個或多于兩個)視點的某一時刻的圖像及其對應的深度。編碼三維視頻序列形成三維視頻碼流(bitstream)，碼流由比特組成。編碼方法可以為基于MPEG-2、H.264/AVC、HEVC、AVS、VC-1等視頻編碼標準的編碼方法。需要說明的是，視頻編碼標準規定了碼流的語法(syntax)和對符合編碼標準的碼流的解碼方法，并不規定產生碼流的編碼方法，但是采用的編碼方法必須和標準規定的解碼方法匹配，形成符合編碼標準的碼流，解碼器才可以完成對這些碼流的解碼，否則解碼過程可能出錯。解碼得到的圖像稱為解碼(decoded)圖像或者重建(reconstructed)圖像，解碼得到的深度稱為解碼(decoded)深度或者重建深度；輸入到編碼器的(未經編碼的)圖像稱為原始(original)圖像。也就是說，編碼器內部也完成了由編碼得到的信息產生重建圖像(或重建深度)的解碼處理，且該解碼處理與解碼器中對碼流的解碼處理相同。當前編碼圖像(或當前編碼的圖像)指當前正在編碼的宏塊(macroblck)所在幀(frame)的原始圖像，當前解碼圖像(或當前解碼的圖像)指當前正在解碼的宏塊所在幀的重建圖像。當前編碼視點指當前正在編碼的宏塊所在的視點，當前解碼視點指當前正在解碼的宏塊所在的視點。已編碼視點指非當前正在編碼的宏塊所在的視點，且該視點中的幀先于當前編碼視點中相同時刻的幀完成編碼；已解碼視點指非當前正在解碼的宏塊所在的視點，且該視點中的幀先于當前解碼視點中相同時刻的幀完成解碼。

目前的視頻編碼標準，例如H.264/AVC，大多基于包含預測(prediction)編碼和變換(transform)編碼的混合(hybrid)編碼框架。視頻序列中的各幀圖像逐幀編碼，一幀圖像分為若干個宏塊(Macroblock)，每個宏塊又可細分為若干個塊(block)。通常的編碼處理可概括為：對每一個宏塊，通過一種預測方法(對應于一種預測模式)，得到該宏塊的預測圖像(由一組預測像素組成)，其中的預測方法通常包括幀內預測(intra?prediction，從當前編碼塊周圍的重建像素獲得該塊的預測圖像)和幀間預測(inter?prediction，從另一已編碼幀的重建圖像中獲得該塊的預測圖像)；對多視點視頻(multi-view?video)序列還包括視間預測(inter-view?prediction，從另一已編碼視點的重建圖像中獲得該塊的預測圖像)；對包含深度信息的三維視頻序列還可以包括視點合成預測(view?synthesis?prediction，從由另一已編碼視點的重建圖像和重建深度生成的視點合成圖像中獲得該塊的預測圖像)。然后，將該宏塊的原始圖像與預測圖像相減，得到殘差(residual)；之后，對殘差進行變換，得到變換系數；對變換系數進行量化，并將量化后的變換系數、以及預測模式等邊信息(side?information)進行熵編碼，形成碼流。由于量化的引入，編碼后的圖像(即重建圖像)和未經編碼的輸入圖像(即原始圖像，或稱當前編碼圖像)之間存在一定的差異，通常稱為失真。

解碼處理可以視為編碼處理的逆過程，通常包括以下步驟：對每一個宏塊，從碼流中解析出該宏塊對應的預測模式信息和量化后的變換系數；通過預測模式，采用相應的一種預測方法，得到該宏塊的預測圖像；將量化后的變換系數反量化及反變換，產生殘差圖像，將殘差圖像和預測圖像相加，得到重建圖像。