[發明專利]虛擬基準視圖

有效

• 申請號: 200980116077.2
• 申請日: 2009-03-03
• 公開（公告）號: CN102017632A
• 公開（公告）日: 2011-04-13
• 發明（設計）人: 帕文·拜哈斯·潘迪特;尹鵬;田東
• 申請（專利權）人: 湯姆遜許可證公司
• 主分類號: H04N7/26
• 分類號: H04N7/26;H04N7/32;G06T15/20
• 代理公司: 北京東方億思知識產權代理有限責任公司 11258
• 代理人: 李曉冬;南霆

相關申請的交叉引用

本申請要求2008年3月4日提交的題為“Virtual?Reference?View(虛擬基準視圖)”且序號為61/068,070的美國臨時申請的權益，該臨時申請的內容通過引用結合與此，用于所有目的。

技術領域

描述了涉及編碼系統的實現方式。各種具體實現方式涉及虛擬基準視圖。

背景技術

已廣泛認識到，多視圖視頻編碼是服務于各種應用的關鍵技術，這些應用包括自由視點的和三維的(3D)視頻應用、家庭娛樂和監視。另外，深度數據可以與每個視圖相關聯。深度數據對于視圖合成一般是實質性的。在那些多視圖應用中，所涉及的視頻和深度數據的量通常是巨大的。因此，存在至少對如下框架的需求：該框架幫助提高了執行獨立視圖的聯播(simulcast)的當前視頻編碼方案的編碼效率。

多視圖視頻源包括同一場景的多個視圖。結果，多視圖圖像之間通常存在高相關程度。因此，除了時間冗余之外還可以采用視圖冗余。例如可以通過跨過不同的視圖執行視圖預測來采用視圖冗余。

在一種實際情形中，多視圖視頻系統將利用稀疏布置的相機來捕獲場景。然后可以通過視圖合成/內插利用可用的深度數據和捕獲的視圖來生成這些相機之間的視圖。另外，一些視圖可以只是攜帶深度信息，然后在解碼器處被利用相關聯的深度數據進行合成。也可以利用深度數據生成中間虛擬視圖。在這樣的稀疏系統中，捕獲的視圖之間的相關性可能不是很大并且跨視圖的預測可能是非常有限的。

發明內容

根據一個一般方面，針對對應于第一視圖位置的第一視圖圖像訪問編碼后視頻信息。訪問從不同于第一視圖位置的虛擬視圖位置描繪第一視圖圖像的基準圖像。基準圖像基于第一視圖位置和第二視圖位置之間的位置的合成圖像。針對對應于第二視圖位置的第二視圖圖像訪問編碼后視頻信息，其中第二視圖圖像已被基于基準圖像而編碼。利用第二視圖圖像和基準圖像的編碼后視頻信息對第二視圖圖像解碼，以產生解碼后的第二視圖圖像。

根據另一個一般方面，訪問對應于第一視圖位置的第一視圖圖像。針對不同于第一視圖位置的虛擬視圖位置，基于第一視圖圖像合成虛擬圖像。對與第二視圖位置相對應的第二視圖圖像進行編碼。該編碼使用基于虛擬圖像的基準圖像。第二視圖位置不同于虛擬視圖位置。該編碼產生了編碼后的第二視圖圖像。

在附圖和下面的描述中給出了一個或多個實現方式的細節。即使以一種具體方式來描述，也應當清楚，可以按各種方式來配置或體現實現方式。例如，一種方式可以作為方法而執行，或者體現為設備(例如，被配置為執行一組操作的設備或者存儲用于執行一組操作的指令的設備)，或者用信號來體現。其他方面和特征將從以下結合附圖和權利要求而考慮的詳細描述中變得清楚。

附圖說明

圖1是用于與深度信息一起發送和接收多視圖視頻的系統的實現方式的示圖。

圖2是用于從深度為(K＝3)的3個輸入視圖生成9個輸出視圖(N＝9)的框架的實現方式的示圖。

圖3是編碼器的實現方式的示圖。

圖4是解碼器的實現方式的示圖。

圖5是視頻發送器的實現方式的框圖。

圖6是視頻接收器的實現方式的框圖。

圖7A是編碼過程的實現方式的示圖。

圖7B是解碼過程的實現方式的示圖。

圖8A是編碼過程的實現方式的示圖。

圖8B是解碼過程的實現方式的示圖。

圖9是深度圖(depth?map)的示例。

圖10A是未進行孔洞填充的變形后圖片的示例。

圖10B是進行了孔洞填充的圖10A的變形后圖片的示例。

圖11是編碼過程的實現方式的示圖。

圖12是解碼過程的實現方式的示圖。

圖13是連續虛擬視圖生成器的實現方式的示圖。

圖14是編碼過程的實現方式的示圖。

圖15是解碼過程的實現方式的示圖。

具體實施方式

在至少一種實現方式中，提出了一種框架來使用虛擬視圖作為基準。在至少一種實現方式中，提出了使用如下虛擬視圖：該虛擬視圖不與將被預測為附加基準的視圖并置。在另一種實現方式中，還提出了連續對虛擬基準視圖進行精煉，直到滿足某一個質量與復雜性的折衷為止。然后可以包括若干虛擬生成的視圖作為附加基準，并且可以用高級別來表明它們在基準列表中的位置。