[發明專利]用于處理輸入的三維視頻信號的方法和系統

有效

• 申請號: 200980141834.1
• 申請日: 2009-10-16
• 公開（公告）號: CN102204261A
• 公開（公告）日: 2011-09-28
• 發明（設計）人: B·G·B·巴倫布魯格;G·W·T·范德海登;P·J·L·A·斯維倫斯
• 申請（專利權）人: 皇家飛利浦電子股份有限公司
• 主分類號: H04N13/00
• 分類號: H04N13/00
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 李亞非;劉鵬

技術領域

本發明涉及一種用于處理輸入的三維視頻信號的方法和系統以及一種用于實現根據本發明的方法的計算程序產品。

背景技術

適于顯示三維圖像的顯示設備在研究中受到增長的關注。另外，進行了大量的研究，以便確立如何為終端用戶提供令人滿意的高質量觀看體驗。

三維（3D）顯示器通過為觀看者的雙眼提供被觀看的場景的不同視圖來為觀看體驗添加第三維。這可以通過使用戶佩戴眼鏡以分離被顯示的兩個視圖而實現。然而，由于眼鏡可能被視為對于用戶來說不方便，在許多場景下優選使用自動立體顯示器，其使用顯示器處的裝置（諸如雙凸透鏡或隔板）來分離視圖，并且將它們以不同的方向發送，其中它們可以分別到達用戶的眼睛。對于立體顯示器，需要兩個視圖，而自動立體顯示器典型地需要更多視圖（諸如例如九個視圖）。

存在各種不同的途徑來為這種立體設備和自動立體設備提供內容。流行的格式是傳遞有效地包括可以由顯示設備顯示的相應視圖的多個圖像的立體內容或多視圖內容。這樣做的優點是通常這種顯示設備和內容創建中的處理要求可以保持到最小。

與傳遞包括用于顯示的實際的編碼的視圖的立體或多視圖內容相關聯的問題是這些圖像以隱式的方式有效地修正兩個或者更多個相應的視圖之間的視差關系。

發明內容

本發明的一個目的是減輕在施加疊加時編碼用于三維顯示器的立體或多視圖內容中的視差關系的缺點。

此目的是通過根據本發明的處理輸入的三維視頻信號的方法而實現的，其中所述方法包括：確定指示輸入的三維視頻信號的最大視差值的遠視差估計、以及指示輸入的三維視頻信號內的空間區域的最小視差值的近視差估計，通過基于所述遠視差估計借助于視差移位向后移位輸入的三維視頻信號來適配三維視頻信號，并且基于所述近視差估計和所述視差移位在經過移位的三維視頻信號的空間區域內生成疊加。通過使一些視差信息（遠值和近值）變為顯式的（與多視圖圖像數據中的隱式信息相對照），使得可以進行諸如確定移位的量之類的顯式處理。

本發明的發明人認識到：通過建立如上所述的遠和近視差估計，可以建立用于疊加的可用自由空間（headroom），以便允許在視頻信號中描繪的場景的前面安全地放置疊加。可以例如通過使用輸入的三維視頻信號的粗粒視差分析、或者作為替代通過使用在輸入的三維視頻信號中提供的元數據，來確定遠和近視差估計。

一旦清楚是否可以適配輸入的三維視頻信號以及適配多少，可以基于遠視差估計借助于視差移位來向后移位所述輸入的三維視頻信號的視差范圍。視差移位不需要重新呈現內容，而是可以典型地通過修剪以及延展視圖而以相對節省成本的方式實現。

結果是，可以延展可用于生成疊加的視差范圍，從而允許例如疊加更靠近顯示器的零視差平面而被放置，以便獲得更明顯（sharper）的疊加。將對于本領域技術人員清楚的是：所述疊加受輸入的三維視頻信號中的可用自由空間的影響。

在一個實施例中，遠和近視差估計基于輸入的三維視頻信號的視差估計。具體地，當在視差范圍的適配中保留余量時，可以進行粗視差估計（coarse?disparity?estimate）。在稀疏視差估計（sparse?disparity?estimate）不完全正確的情況下，所述余量仍可以補償這種錯誤。

在替代實施例中，從作為輸入的三維視頻信號內的元數據提供的信息中導出遠和近視差估計。結果是，可以以高度節省成本的方式實現本發明。

在根據本發明的優選實施例中，所述方法還包括用所生成的疊加疊加經過移位的三維視頻信號，從而使得能夠生成用在包括諸如例如字幕、隱蔽式字幕信息、用戶界面信息和/或圖像序列之類的疊加的多視圖顯示器上的圖像。這些疊加自身可以是二維或三維圖像數據的靜止圖像或者動畫序列，隨后基于近視差估計和所施加的視差移位使用適當的視差值對它們進行編碼。

在三維疊加的情況下，可能需要以這種方式來移位疊加的視差范圍：即，所述視差范圍可以在可用的視差范圍內放置。當使用計算機制圖法生成疊加時，存在對于圖形的放置的完全控制，并且可以利用可用于經過移位的三維視頻信號中的疊加的整個可用的視差范圍。