[發明專利]一種自然三維電視系統

有效

• 申請號: 200810062854.7
• 申請日: 2008-07-07
• 公開（公告）號: CN101312542A
• 公開（公告）日: 2008-11-26
• 發明（設計）人: 張明;李東曉;謝賢海;王維東;謝磊;徐元欣;陳惠芳;鄭偉
• 申請（專利權）人: 浙江大學;杭州國芯科技有限公司
• 主分類號: H04N15/00
• 分類號: H04N15/00;H04N13/00;H04N7/26;G06T7/00
• 代理公司: 杭州求是專利事務所有限公司
• 代理人: 張法高

技術領域

本發明涉及一種自然三維電視系統，具體包括基于深度的三維電視的編解碼和多視點重建方法。

背景技術

從20世紀40年代電視發明以來，經歷了黑白電視、彩色電視和正在發展的數字高清晰度電視三個階段，電視技術逐漸向著大屏幕、彩色化、高清晰度、多媒體方向發展。而三維電視(3DTV)具有深度感和臨場感，將會使觀眾獲得最大限度的立體感受，因而必將成為繼數字高清晰度電視技術之后又一個新的發展方向。

人眼產生立體感主要基于兩個方面：雙目視差(binocular?parallax)和運動視差(motion?parallax)。雙目視差始于Charles?Wheatstone?1838年的研究工作，指的是雙眼看到同一物體的不同映像；運動視差始于Helmholtz?1866年的研究工作，指的是頭部運動時看到同一物體的不同映像。如果采用一個裝置，使左右眼分別看到不同的視差圖像，則在大腦中就會產生精確的三維物體，以及該物體在場景中的定位，這就是具有深度的立體感。同時研究也表明：立體感和立體圖像的整體質量取決于質量較好的單眼圖像。參見：L.Stelmach，W.Tam，D.Meegan，A.Vincent，and?P.Corriveau，“Human?perception?of?mismatched?stereoscopic?3Dinputs，”International??Conference??on??Image?Processing，vol.1，10-13Sept.2000，pp.5-8。

現有用于3DTV的立體顯示技術主要分為兩類：分光立體眼鏡立體顯示(Glasses-based?Stereoscopic)和自動分光立體顯示(Auto-stereoscopic)。分光立體眼鏡立體顯示技術興起于二十世紀八十年代，主要特點是需佩戴眼鏡，通過鏡片的濾光效果使左右眼看到不同的視差圖像，代表有基于互補色的立體顯示系統和基于極化光的立體顯示系統，后因需佩戴眼鏡被逐漸淘汰。現在主流的立體顯示技術是自動分光立體顯示，利用狹縫光柵或微透鏡陣列的光路遮擋或引導使左右眼看到不同的視差圖像，優點是無需佩戴眼鏡和適合多人多視角觀察，這方面已有很多的成熟的產品。

由于立體成像的特殊要求，立體圖像獲取主要是通過多個(兩個以上)攝像機陣列。通常我們將多個相機的排列方式分為兩類：平行排列方式和“內八字”排列方式。平行排列方式的特點是相機平行排列，其光軸垂直于相機平面，有較簡潔的深度視差關系，但其攝取的場景范圍不同，使兩幅視差圖像的殘差較大；“內八字”排列方式是一種環形匯聚式的排列方式，更符合人眼的觀察特點，但其只適合拍靜態的物體，對于動態的物體就必須調整匯聚點，顯然這會造成很多困難，同時該方案的深度視差計算公式也較復雜。2002年，歐洲ATTEST(Advanced?Three-Dimensional?Television?System?Technology)提出了一種新型的“shift-sensor”相機結構，這種相機結構更像是前兩種方案的一種折中：相機平行排列，光軸也垂直于相機平面，但它調整了相機內部的CCD感光片，使相機拍攝的場景范圍相同。這個方案有許多優點：有很簡單的視差深度關系，場景相同保證圖像間預測的殘差小；相對于“內八字”方案，不會引入不想要的“豎直偏移”，這是造成立體視覺眼疲勞的重要原因。

除了傳統的多攝像機攝取方式，還有一種“2D圖像+深度”的方式，這類方案的壓縮碼率更高。ATTEST提出用Zcam裝置來直接獲取場景的深度，其原理是發射紅外線，通過測量紅外線來回的時間來估計物體離攝像機的距離(深度)。該方法雖然簡單，但由于其精度較低至今仍未被廣泛采用。

三維電視由于其需傳多路的視頻流，造成其信息量很大，對傳輸網絡的帶寬要求高，所以一般將數字視頻信號在存儲或者傳輸前先進行壓縮編碼，以便節省存儲空間和網絡帶寬。現有的3DTV編碼方案大部分是基于場景的，基于場景的立體編碼方法分為三類，第一類是傳統的雙路視頻編碼方法，第二類是多路的視頻編碼方法，第三類是基于深度的視頻編碼方法。

雙路視頻編碼方法傳的是左右眼的視差圖像，通常將一路用傳統的2D視頻編碼技術(比如MPEG-2)，作為基本層；另一路用視點間預測編碼，去除冗余，作為增強層。缺點是只適合單人單角度觀看，比較典型的是MPEG-2的MVP(Multi-View?Profile)。