[發明專利]用于使用視差信息的3D媒體數據產生、編碼、解碼和顯示的方法和裝置

有效

• 申請號: 201380004025.2
• 申請日: 2013-02-01
• 公開（公告）號: CN103959769A
• 公開（公告）日: 2014-07-30
• 發明（設計）人: 申省梅;P·拉桑;林宗順;杉尾敏康;西孝啟;笹井壽郎;柴原陽司;谷川京子;松延徹;寺田健吾
• 申請（專利權）人: 松下電器產業株式會社
• 主分類號: H04N13/00
• 分類號: H04N13/00;H04N19/597;H04N19/46;H04N19/70
• 代理公司: 永新專利商標代理有限公司 72002
• 代理人: 王英;陳松濤

技術領域

本發明可以用于多媒體數據編碼、傳遞和展示，更具體地，用于3D圖像和視頻打包和傳送，其中，視差或深度信息經過處理、提取并用于健康且有效的3D的3D觀看，還用于觀看以外的目的。

背景技術

類似于MVC(多視點視頻編碼)的現有技術的立體或3D視頻編碼方案將立體畫面(左和右)編碼到流中并傳送給用于觀看或其他目的終端。終端方解碼該流并以用于3D觀看的正確的左和右順序渲染到顯示器，或者解碼該流用于內容消費前的進一步編輯。

已發現健康的3D觀看體驗總是受到諸如在每一個畫面之間未重合、觀看距離、顯示尺寸和對應于觀看距離和顯示尺寸的最小和最大視差值等的因素的影響。

對3D健康問題一直存在抱怨，不僅因為未知的3D內容質量，這僅是一個問題，還因為未知的3D內容特性，例如超過基于固定的觀看距離和顯示尺寸的人眼可以耐受的過大的3D預算等。可以從最大視差值與最小視差值之間的差獲取3D預算。抱怨還會來自需要基于固定的觀看距離和顯示尺寸的人眼耐受過多的彈出等。過多的彈出是最大視差過大的結果。

可以從3D內容計算3D預算或最大或最小視差，但不易于確保值的準確性，或者其涉及大量運算。所以期望在內容創建方，例如在3D電影制作階段期間生成該值。但基于現有技術，該值在3D產生或在3D內容打包和傳送期間沒有完全準備好，或者沒有很好地用于內容消費，例如，借助這些值指引終端渲染3D內容以與觀看條件相匹配。

例如，3D電影產生是使具有特定特性制作3D內容與影院的觀看條件相匹配，而當在家庭3DTV或便攜式設備上顯示這種內容時就會不匹配，這將導致不健康的3D觀看。對于個人3D就會更差，因為沒有任何規則和機制來指導消費者拍攝適合家庭3DTV或便攜式3D設備上他們觀看條件的健康的3D。作為其結果，會出現所謂的糟糕3D觀看體驗，如視覺疲勞和頭疼問題等。

在現有技術中，攝像機參數如基線和兩個攝像機之間的會聚角通常是可獲取的，而且可以由3D內容攜帶，以幫助告知終端關于3D內容的特性，但它自身不能告知每一場景的3D預算和最大或最小視差，因為對于不同場景，距攝像機的對象距離是不同的，一些可以非常接近攝像機，以至于具有非常大的視差，導致不健康的3D觀看，而一些會非常小以至于看起來像是2D內容的平面對象。

存在建立正確的3D拍攝機制、相應的3D內容打包格式和3D觀看方法的要求和需要，以便始終為用戶帶來健康的3D內容。

發明內容

技術問題

當拍攝3D內容時，難以預計何種3D特性能與3D觀看條件很好的配合，因為會有以各種顯示器和不同觀看距離的各種用戶觀看這種內容，尤其對于個人3D內容。

終端用戶會想要組合不同3D內容來觀看，例如3D相片幻燈片放映，但這些3D相片可能包含不同的3D特性，如3D預算或最大視差，它們可能超過可允許的或健康的范圍，此外，在相片之間突然的3D預算轉變會導致不適和不健康的觀看體驗。這個情形對于3D視頻組合或者在3D視頻中插入3D廣告圖像是相同的。

現有技術的問題在于沒有建立健康的3D拍攝機制，沒有提供充分考慮了3D內容特性的相應打包格式，也沒有開發出使用3D內容的特性的用于3D內容觀看方法的智能方式。

對問題的解決

為了解決這個問題，提出了一種包括3D拍攝的3D內容創建的新方法，或者利用攝像機參數或者從3D內容自身充分計算來創建具有嵌入到內容中的3D特性的3D。

為了解決這個問題，提出了一種3D內容打包和傳送的新方法，包括3D圖像編碼格式和3D視頻編碼格式，用以充當3D內容的元數據，或者作為3D內容格式的頭，或者作為3D圖像和視頻數據的部分。

為了解決這個問題，提出了一種利用相應的3D內容編碼格式的3D內容消費或渲染的新方法，其包括3D內容接收和解碼，3D特性提取，和3D內容修改，用于健康的觀看或除了觀看目的以外的再創作。

本發明的優點

本發明的效果在于創建并傳送具有用以說明每一3D場景的有價值的3D特性的3D內容，以便通過利用這種有價值的3D特性使不同觀看條件與不同3D內容相匹配而帶來令人愉快且健康的3D觀看體驗。

附圖說明

圖1顯示了例示用于本發明的視頻編碼器的示例性裝置的框圖。

圖2顯示了例示用于本發明的比特流提取器和視頻解碼器的示例性裝置的框圖。

圖3A顯示了示出通過UI手動調整的在解碼器方所提取的Dmin和Dmax如何用于提供健康的3D觀看的流程圖。