[發明專利]用于三維視頻編解碼的從深度到視差矢量轉換的方法和裝置

在審

• 申請號: 201480004148.0
• 申請日: 2014-01-07
• 公開（公告）號: CN104919799A
• 公開（公告）日: 2015-09-16
• 發明（設計）人: 林建良;陳渏紋
• 申請（專利權）人: 聯發科技股份有限公司
• 主分類號: H04N19/597
• 分類號: H04N19/597
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 湯在彥

交叉引用

本發明要求2013年1月7日遞交的No.61/749,455，發明名稱為“Methods?and?Apparatus?for?Disparity?Vector?Derivation?in?Multiview?Video?Coding”的美國臨時專利申請案的優先權，且將上述美國臨時專利申請案作為參考。

技術領域

本發明有關于視頻編解碼，且尤其有關于用于三維(three-dimensional，3D)視頻編解碼的由深度對視差矢量(Disparity?Vector，DV)的推導(derivation)。

背景技術

近些年3D電視已成為技術潮流，其目標是帶給觀看者非常好的觀看體驗。多種技術已被開發以進行3D觀看。其中，多視圖(multi-view)視頻尤其是用于3D電視應用的一種關鍵技術。傳統視頻為二維(two-dimensional，2D)媒體，只能提供觀看者攝像機角度的一場景的單一視圖。然而，多視圖視頻可提供動態場景的任意視點(viewpoint)，并提供給觀看者真實的感覺。

多視圖視頻通常通過同時采用多個相機捕捉一場景而建立，其中多個相機被適當放置，使得每個相機可從一個視點捕捉該場景。相應地，多個相機將捕捉對應于多個視圖的多個視頻序列。為了提供更多視圖，更多相機被采用來產生具有與視圖有關的大量視頻序列的多視圖視頻。相應地，多視圖視頻需要大存儲空間進行存儲以及/或者高帶寬進行傳輸。因此，本技術領域中已發展了多視圖視頻編解碼技術，以減少所需的存儲空間或者傳輸帶寬。

ー種直接的方法是對每個單ー視圖視頻序列獨立地應用傳統視頻編解碼技術，而忽略不同視圖之間的任何關聯(correlation)。這種編解碼系統可能效率非常低。為了改進多視圖視頻編解碼效率，一般的多視圖視頻編解碼利用視圖間的冗余。因此，大部分3D視頻編碼(3D?Video?Coding，3DVC)系統考慮與多個視圖有關的視頻數據和深度圖(depth?map)的相關性。標準開發組織，國際電信聯盟電信標準化部(International?Telecommunication?Union?Telecommunication?Standardization?Sector，ITU-T)視頻編碼專家組(Video?Coding?Experts?Group，VCEG)的聯合視頻組(Joint?Video?Team，JVT)以及國際標準化組織(International?Standard?Organization，ISO)/國際電工委員會(International?Electrotechnical?Commission,IEC)運動圖象專家組(Moving?Picture?Experts?Group，MPEG)，將H.264/MPEG-4高級視頻編碼(Advanced?Video?Coding，AVC)擴展為多視圖視頻編碼(multi-view?video?coding，MVC)，用于立體聲和多視圖視頻。

MVC采用時間以及空間預測，來改進壓縮效率。在MVC的發展中，提出了一些宏塊級的(macroblock-level)編解碼工具，包括亮度補償(illumination?compensation)、自適應參考濾波(adaptive?reference?filtering)、運動跳躍模式(motion?skip?mode)和視圖合成預測(view?synthesis?prediction)。這些編解碼工具被提出以利用多個視圖之間的冗余。亮度補償用來補償不同視圖之間的亮度變化。自適應參考濾波用來降低相機之間聚焦不匹配(focus?mismatch)造成的變化。運動跳躍模式允許當前視圖中的運動矢量(MotionVector,MV)從其他視圖中推測出來。視圖合成預測用于由其他視圖預測當前視圖中的圖片。

在基于3D視頻編碼的高效視頻編碼(High?Efficiency?Video?Coding，HEVC)參考軟件(3D-HTM)中，視圖間候選被添加為用于幀間(Inter)、合并(Merge)和跳躍(Skip)模式的MV或DV候選，以重用(re-use)相鄰視圖的先前已編碼運動信息。在3D-HTM中，被稱為編碼單元(Coding?Unit，CU)的壓縮的基本單元為2Nx2N方形塊。每個CU可被遞歸地分成4個更小的CU，直到達到預定最小尺寸。每個CU包括一個或多個預測單元(Prediction?Unit，PU)。