[發明專利]用于圖像和視頻編解碼中的參考處理的方法和系統

有效

• 申請號: 201180007128.5
• 申請日: 2011-01-05
• 公開（公告）號: CN102726046A
• 公開（公告）日: 2012-10-10
• 發明（設計）人: 佩沙拉·V·帕哈拉瓦達;亞歷山德羅斯·圖拉皮斯
• 申請（專利權）人: 杜比實驗室特許公司
• 主分類號: H04N7/26
• 分類號: H04N7/26;H04N7/50
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 杜誠;李春暉

對相關申請的交叉引用

本申請要求2010年1月27日提交的第61/298,907號美國專利臨時申請的優先權，其全部內容通過引用合并于此。

技術領域

本公開涉及圖像和視頻編碼和/解碼系統。特別地，公開了用于圖像和視頻編解碼中的參考處理的方法和系統。

背景技術

立體（3D）用戶體驗的提供已成為內容提供商和顯示器制造商兩者的長期保持的目標。近來，隨著許多流行3D電影和諸如體育賽事、音樂會和紀錄片的其它3D材料的制作和發布，向家庭用戶提供立體體驗的緊迫性已經增加了。已提出了使得能夠向家庭用戶傳送立體3D內容的大量方法。已提出的一個技術是使用各種濾波、采樣和布置方法將兩個立體視圖多路復用為單幀配置（幀兼容）。采樣例如可以是水平、垂直或梅花形五點排列（quincunx），同時還可以考慮兩個視圖之間的偏移，從而允許更好地利用兩個視圖之間可能存在的冗余。類似地，布置可以為并排、上下（over-under）、線交織和棋盤式包裝（checkerboard?packing）等。

然而，以上方法需要將每個視圖下采樣為原始分辨率的一半。所以，已提出了使得能夠傳送全分辨率3D的大量方法。一個方法是利用兩個分離和獨立的比特流（同時聯播，simulcast），其中每個比特流表示不同的視圖（例如左眼和右眼）。然而，由于沒有利用兩個視圖之間存在的冗余，該方法在存儲和帶寬要求方面是復雜的。設法利用一些冗余的該方法的擴展被提出和采用為MPEG-4?AVC/H.264視頻編碼標準的多視圖視頻編碼（MVC）擴展。參考用于一般視聽服務的高級視頻編碼，http://www.itu.int/rec/recommendation.asp?type=folders&lang=e&parent=T-REC-H.264，2009年3月，其全部內容通過引用合并于此。該方法是可分級（scalable）系統，其將一個視圖傳送為基礎層圖像，而將其它視圖傳送為增強層。在這種情況下，僅使用基于平移運動補償的方法就利用了視圖之間的冗余，同時與MPEG-4AVC的原始設計相比，該系統基于用于執行預測的“智能”參考緩沖器管理。可惜，盡管編碼效率有些提高（比同時聯播高20-30%），但是對只有平移運動補償的依靠限制了該方案的性能。第6,144,701號美國專利中提出了另一方法，該方法使用仿射模型根據其它視圖生成一個視圖的預測，其全部內容通過引用合并于此。

具有值得考慮的關注的其它應用包括可分級視頻傳送應用（例如2D可分級視頻編碼），其中，期望的是，使用多個層對視頻信號進行編碼，每個層能夠實現不同質量水平或分辨率（空間或時間）的視頻信號。

附圖說明

圖1和圖2示出幀兼容3D架構的示例；

圖3和圖4示出圖1和圖2的架構的可能的編碼器側實現；

圖5示出圖1和圖2的架構的可能的解碼器側實現；

圖6示出根據本公開的實施例的解碼器側實現；

圖7和圖8示出有關圖6的解碼器側實現的流程圖；

圖9示出計算兩個相鄰塊的視差補償值的參考處理樣本；

圖10示出如下實施例的圖：其中，根據多數塊需要處理參考的圖像區域，對多數塊不需要處理參考的分離的圖像區域執行預分析；

圖11示出根據本公開的實施例的第一編碼器側實現；

圖12示出根據本公開的實施例的第二編碼器側實現。

具體實施方式

根據第一方面，提供了一種多層視頻解碼系統，包括：第一層，包括第一層視頻解碼器；與第一層相關聯的第二層，第二層包括第二層視頻解碼器；處理選擇器，其選擇是否處理第一層視頻解碼器的輸出并且將經處理的輸出輸入到第二層視頻解碼器中；位于處理選擇器的下游的處理模塊，其根據處理選擇器的指示處理第一層視頻解碼器的輸出并且將經處理的輸出輸入到第二層視頻解碼器中。

根據第二方面，提供了一種視頻解碼器，包括：解碼環路，其適合于接收編碼信號并且輸出解碼信號；與解碼環路連接的處理模塊，該處理模塊適合于接收解碼的輸入信號并且將經處理的解碼的輸入信號發送到解碼環路；以及與處理模塊連接的選擇器，其適合于接收解碼的輸入信號并且選擇是否將解碼的視頻信號發送到處理模塊。