[發明專利]用于多視點視頻編碼或解碼的方法及裝置

有效

• 申請號: 201380059923.8
• 申請日: 2013-11-15
• 公開（公告）號: CN104798375B
• 公開（公告）日: 2018-08-28
• 發明（設計）人: 陳渏紋;林建良
• 申請（專利權）人: 寰發股份有限公司
• 主分類號: H04N19/597
• 分類號: H04N19/597
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 湯在彥

本發明提供一種用于三維視頻編碼或解碼的具有約束條件的視差向量的方法及裝置。在一個實施方式中，確定當前紋理區塊的得到的視差向量，以及對視差向量應用或不應用視點間約束來得到最終得到的視差向量。然后，利用至少一選擇的編碼工具，對輸入數據應用視點間預測編碼或解碼。其中，所有選擇的編碼工具使用相同的最終得到的視差向量，以及選擇的編碼工具包括視點間殘差預測、視點合成預測以及視點間運動參數預測。

交叉引用

本發明主張在2012年11月16日提出的申請號為61/727,220、標題為“Controllingof disparity vector constraint for video coding”的美國臨時專利申請的優先權，以及在2013年01月24日提出的申請號為61/756,043、標題為“Inter-view signalprediction conditional on disparity vector constraints for video”的美國臨時專利申請的優先權。因此在全文中合并參考這些美國臨時專利申請案。

技術領域

本發明是有關于三維視頻編碼，特別是有關于在三維視頻編碼中用于視點間(inter-view)殘差預測和視點間運動參數預測的視差向量的推導。

背景技術

三維(Three-dimensional,3D)電視為近年來的技術發展趨勢，并且三維電視給觀眾帶來震撼的視覺體驗。開發各種技術來應用三維顯示方式。其中，相對于其他技術而言，多視點視頻為三維電視的關鍵技術?，F有的視頻為二維媒體，其僅自攝像機的視角提供一個單一的場景給觀眾。然而，多視點視頻能夠提供動態場景的任意視點并給觀眾真實的感官體驗。

多視點視頻通常通過使用多個攝影機同時捕獲場景來產生，其中適當放置多個攝影機的位置，以使得每一個攝影機自一個視點捕獲場景。相應地，多個相機將捕獲對應于多個視點的多視頻序列。為提供更多視點，更多的攝影機用于產生多視點視頻和與視點相關的大量視頻序列。相應地，多視點視頻需要大量的存儲空間來存儲及/或較高的帶寬來傳輸。因此，開發多視點視頻編碼技術降低需要的存儲空間或傳輸帶寬。

一種直接的方法是對每一個單一視點視頻序列簡單地應用現有的視頻編碼技術，而不顧不同視點之間的任何關聯。這樣的編碼系統的效率十分低。為改善多視點視頻編碼的效率，通常對多視點視頻編碼技術利用視點間冗余。因此，大多數三維視頻編碼系統會考慮與多視點和深度圖相關的視頻數據的關聯。標準制定機構，ITU-T VCEG和ISO/IEC MPEG的聯合視頻工作組，將H.264/MPEG-4AVC標準擴展到用于立體聲和多視點視頻的多視點視頻編碼(multi-view video coding,以下簡稱為MVC)。

MVC采用時間和空間預測來提高壓縮效率。在MVC的發展過程中，提出了一些宏塊級的編碼工具，包括亮度補償(Illumination compensation)、自適應參考濾波、運動跳過模式(motion skip mode)、視點合成預測(view synthesis prediction)。這些編碼工具利用多個視點之間的冗余。亮度補償是為了補償不同視點之間的亮度變化。自適應參考濾波是為了降低攝影機之間聚焦失配的變化。運動跳過模式允許自其它視點推導當前視點中的運動向量。視點合成預測用于自其他視點預測當前視點的圖片。

在基于三維視頻編碼HEVC(3D-HTM)的參考軟件中，為了重新使用先前編碼的相鄰視點的運動信息，加入視點間候選作為用于幀間(Inter)、合并和跳過模式的運動向量或視差向量候選。在3D-HTM中，用于壓縮的基本單元稱為編碼單元，該編碼單元是一個2Nx2N的方塊。每一個編碼單元可以遞歸地分割為四個更小的編碼單元，直到達到預定的最小尺寸。每一個編碼單元包括一個或多個預測單元。