[發明專利]視頻編碼裝置及方法以及視頻解碼裝置及方法

在審

• 申請號: 201480056613.5
• 申請日: 2014-10-15
• 公開（公告）號: CN105612749A
• 公開（公告）日: 2016-05-25
• 發明（設計）人: 杉本志織;志水信哉;小島明
• 申請（專利權）人: 日本電信電話株式會社
• 主分類號: H04N19/597
• 分類號: H04N19/597;H04N13/00
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 閆小龍;陳嵐

技術領域

本發明涉及視頻編碼裝置、視頻解碼裝置、視頻編碼方法、以及視頻解碼方法。

本申請基于在2013年10月17日申請的特愿2013-216525號要求優先權，并將其內容引用于此。

背景技術

在通常的視頻編碼中，利用被攝物的空間上/時間上的連續性將視頻的各幀分割為處理單位的塊，按照每個塊在空間上/時間上對其視頻信號進行預測，對示出其預測方法的預測信息和預測殘差信號進行編碼，由此，與對視頻信號本身進行編碼的情況相比，謀求大幅度的編碼效率的提高。此外，在通常的二維視頻編碼中，進行參照相同的幀內的已經編碼完畢的塊來對編碼對象信號進行預測的幀內預測以及參照已經編碼完畢的其他的幀基于運動補償等來對編碼對象信號進行預測的幀間預測。

在此，對多視點視頻編碼進行說明。多視點視頻編碼是指對使用多個攝像機拍攝了相同的場景的多個視頻利用該視頻間的冗余性以高的效率進行編碼。關于多視點視頻編碼，熟悉非專利文獻1。

在多視點視頻編碼中，除了在通常的視頻編碼中使用的預測方法之外，還使用參照已經編碼完畢的另外的視點的視頻基于視差補償對編碼對象信號進行預測的視點間預測以及通過幀間預測對編碼對象信號進行預測并對其殘差信號參照已經編碼完畢的另外的視點的視頻的編碼時的殘差信號進行預測的視點間殘差預測等方法。關于視點間預測，在MVC（MultiviewVideoCoding，多視點視頻編碼）等多視點視頻編碼中，統一為幀間預測而被處理為幀間預測（interprediction），能夠在B圖片中對2個以上的預測圖像進行插值來做成預測圖像而也用于雙向預測。像這樣，在多視點視頻編碼中，對于能夠進行幀間預測和視點間預測雙方的圖片，能夠進行利用幀間預測和視點間預測的雙向預測。

在進行幀間預測的情況下，具有得到示出其參照目的地的參照圖片索引或運動矢量等參照信息的需要。通常地，參照信息作為預測信息而進行編碼并且與視頻一起復用，但是，為了削減其碼量，有時以某些方法預測參照信息。

在通常的方法中，存在取得已經編碼完畢的編碼對象圖像的周邊塊在編碼時使用的預測信息來作為用于編碼對象圖像的預測的參照信息的直接方式、將周邊塊的預測信息名單化為候補名單（CandidateList）并且對識別從名單中取得預測信息的對象塊的標識符進行編碼的合并方式等。

此外，在多視點視頻編碼中，存在共有與編碼對象圖像對應的另外的視點的圖片上的區域和參照信息的視點間運動預測這樣的方法。關于視點間運動預測，熟悉非專利文獻2。

此外，作為其他的方法，存在殘差預測。殘差預測是在對具有高的相關性的2個圖像分別進行預測編碼的情況下利用了其預測殘差也彼此具有相關性的情況的用于抑制預測殘差的碼量的方法。關于殘差預測，熟悉非專利文獻3。

在多視點視頻編碼中使用的視點間殘差預測中，從編碼對象的預測殘差信號減去不同的視點的視頻中的與編碼對象圖像對應的區域的編碼時的預測殘差信號，由此，能夠降低殘差信號的能量，提高編碼效率。

關于視點間的對應關系，在例如通過視差補償預測對已經編碼完畢的周邊塊進行編碼的情況下，通過其視差矢量，使用設定與編碼對象塊對應的另外的視點的區域等方法來求取。通過該方法求取的視差矢量被稱為“neighboringblockbaseddisparityvector（NBDV），基于相鄰塊的視差矢量”。

視點間殘差預測在B圖片中使用幀間預測的情況下，除了該預測之外還用作針對殘差的進一步的處理。

在此，對自由視點視頻編碼進行說明。自由視點視頻是指通過使用許多拍攝裝置等從各種位置、角度對對象場景進行拍攝來取得場景的光線信息并以此為基礎對任意視點中的光線信息進行恢復、由此生成從任意視點觀察的視頻的視頻。

場景的光線信息由各種數據形式表現，但是，作為最通常的形式，存在使用視頻和該視頻的各幀中的被稱為深度圖（depthmap）的進深圖像的方式（非專利文獻4）。

深度圖是指按照每個像素來記述從攝像機到被攝物的距離（進深、深度）的圖，是被攝物所具有的三維信息的簡單的表現。

在從兩個攝像機對同一被攝物進行觀測時，被攝物的深度值與攝像機間的視差的倒數成比例，因此，深度圖有時也被稱為視差圖（disparitymap）（視差圖像）。與此相對地，有時將深度圖所對應的攝像機的視頻稱為紋理（texture）。

由于深度圖是針對圖像的各像素的每一個具有一個值的表現，所以，能夠看作灰度（grayscale）圖像來進行記述。