[發明專利]視頻編碼裝置和方法、視頻解碼裝置和方法、以及其程序

在審

• 申請號: 201380068047.5
• 申請日: 2013-12-25
• 公開（公告）號: CN104885462A
• 公開（公告）日: 2015-09-02
• 發明（設計）人: 杉本志織;志水信哉;木全英明;小島明
• 申請（專利權）人: 日本電信電話株式會社
• 主分類號: H04N19/50
• 分類號: H04N19/50;H04N19/30
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 王岳;陳嵐

技術領域

本發明涉及使用雙預測編碼的視頻編碼裝置、視頻解碼裝置、視頻編碼方法、視頻解碼方法、視頻編碼程序和視頻解碼程序。

本申請基于在2012年12月28日申請的特愿2012-287927號要求優先權，并將其內容引用于此。

背景技術

在通常的視頻編碼中，利用被攝體的空間上/時間上的連續性，將視頻的各幀分割為多個處理單位塊，按照每個塊在空間上/時間上預測其視頻信號，對示出其預測方法的預測信息和預測殘差進行編碼，由此，與對視頻信號本身進行編碼的情況相比，謀求大幅度的編碼效率的提高。

此外，在通常的二維視頻編碼中，進行參照相同的幀內的已經編碼完畢的塊來預測編碼對象圖像的幀內預測和參照已經解碼完畢的其他幀基于運動搜索等來預測編碼對象圖像的幀間預測。

在包括MPEG（活動圖像專家組（Moving?Picture?Experts?Group））-1、MPEG-2和MPEG-4的許多視頻壓縮標準中，圖像的編碼/解碼順序與再現順序不相同，因此，在幀間預測中不僅能夠進行參照時間上之前的幀的前向預測，還能夠進行參照之后的幀的后向預測，進而能夠進行混合來自2個以上的幀的預測結果的雙預測。

根據雙預測，能夠降低由于圖像間的旋轉、亮度變化、噪聲等造成的預測錯誤。關于雙預測，在非專利文獻1中詳細地記載。

該雙預測也能夠利用于對空間分辨率不同的視頻進行編碼的可伸縮（scalable）視頻編碼、對多視點視頻進行編碼的多視點視頻編碼等。

在可伸縮編碼中，能夠混合根據低分辨率層的解碼圖像進行高分辨率層的預測的層間預測和幀間預測。

此外，在多視點視頻編碼中，能夠混合根據不同的視點的解碼圖像進行編碼對象視點的預測的視點間預測和幀間預測。

關于可伸縮視頻編碼，在非專利文獻2中詳細地記載，關于多視點視頻編碼，在非專利文獻3中詳細地記載。

此外，作為能夠與通常的預測方式組合的預測方式，也能夠利用將編碼某個畫面時的預測殘差用于現在編碼對象畫面的預測的殘差預測。關于該殘差預測，在非專利文獻4中詳細地記載。該方法是利用了在對具有高的相關性的2個畫面根據分別對應的參照畫面進行預測的情況下其預測殘差也彼此具有相關性的預測方式。

在通常的殘差預測中，將某個畫面的編碼時的預測殘差從使用另外的參照畫面進行預測的現在編碼對象畫面的預測殘差減去，對其差分進行編碼。

在可伸縮編碼中，對低分辨率層中的預測殘差進行上采樣，并從高分辨率層中的預測殘差減去，由此，能夠削減碼量。

在多視點視頻編碼中，從編碼對象視點的預測殘差減去不同的視點的預測殘差，由此，能夠實現編碼效率的提高。

在此，對自由視點視頻編碼進行說明。自由視點視頻是指，通過使用許多拍攝裝置等從各種位置/角度拍攝對象場景來取得場景的光線信息，并以此為基礎恢復任意的視點的光線信息，由此，生成從任意的視點觀察的視頻。

場景的光線信息由各種數據形式表現，但是，作為最通常的形式，存在使用視頻和該視頻的各幀中的被稱為深度圖的深度圖像的方式（例如，參照非專利文獻5）。

深度圖是指按照每個像素記述從攝像機到被攝體的距離（進深/深度）的圖，是被攝體具有的三維信息的簡易的表現。

在從2個攝像機觀測同一被攝體時，被攝體中的各像素的深度值與針對該像素的攝像機間的視差的倒數成比例，因此，深度圖有時也被稱為視差圖（視差圖像）。與此相對地，有時將深度圖對應的攝像機的視頻稱為紋理（texture）。深度圖是圖像的各像素每個具有一個值的表現，因此，能夠被看作是灰度圖像來記述。

此外，作為深度圖的時間上連續的記述的深度圖視頻（在以下不區別圖像/視頻而稱為深度圖）與視頻信號同樣地，由于被攝體的空間上/時間上的連續性，所以可以說具有空間上/時間上相關性。因此，能夠利用為了對通常的視頻信號進行編碼而使用的視頻編碼方式一邊去除空間上/時間上冗余性一邊高效地對深度圖進行編碼。

通常，在紋理與深度圖之間存在高的相關性，因此，在如自由視點視頻編碼那樣對紋理和深度圖一起編碼的情況下，能夠利用兩者之間的相關性來實現進一步的編碼效率的提高。

在非專利文獻6中，通過使用于兩者的編碼的預測信息（塊分割、運動矢量、參照幀）共同化來排除冗余性，而實現高效的編碼。

再有，在本說明書中，圖像是指活動圖像的一個幀或者靜止圖像，將多個幀（圖像）聚集的圖像（活動圖像）稱為視頻。

現有技術文獻

非專利文獻