[發明專利]三維視頻虛擬視點合成中彩色混疊及陰影部分的處理方法

有效

• 申請號: 201410040641.X
• 申請日: 2014-01-27
• 公開（公告）號: CN103747229A
• 公開（公告）日: 2014-04-23
• 發明（設計）人: 朱策;李帥;周益民;王忠榮;高艷博
• 申請（專利權）人: 電子科技大學
• 主分類號: H04N13/00
• 分類號: H04N13/00
• 代理公司: 成都宏順專利代理事務所(普通合伙) 51227
• 代理人: 李順德;王睿

技術領域

本發明屬于3D視頻領域，涉及一種三維視頻虛擬視點合成中彩色混疊及陰影部分的處理方法。

背景技術

傳統雙目立體視頻及多視點視頻由于無法實現深度自主調節已不能滿足人們越來越高的視聽需求。與之相比，新一代的基于深度數據和視點合成的三維視頻系統能夠利用基于深度圖像的繪制（depth-image-based?rendering,DIBR）技術合成虛擬視點圖像，根據用戶需求調整最終顯示的左右視圖的視差大小，改善用戶視覺體驗，因而得到了學術界和工業界的廣泛關注。

虛擬視點合成通過基于深度圖像的三維投影（3D?warping）將三維場景在一個視點下拍攝的彩色圖像映射到另一個虛擬視點的圖像平面，形成投影圖像，即首先確定當前視點中像素在虛擬視點中的投影位置，然后將該像素的像素值賦予投影位置的像素。由于虛擬視點與相機視點位置不同，即拍攝角度不同，不同視點圖像的信息不同，因此虛擬視點圖像的部分信息，即在虛擬視點下暴露出來在原視點中卻被遮擋的區域，并不能由上述相機視點獲取。當采用兩個相機視點共同內插（view?interpolation）合成一個虛擬視點時，原本無法從某個相機視點圖像中獲取的部分虛擬視點信息能夠在另一個視點相機圖像中找到，所以此時得到的虛擬視點圖像比僅使用一路相機圖像進行視點合成時得到的虛擬視點圖像具有更好的圖像質量。

但是，由于相機捕獲的彩色圖像邊界一般不是尖銳變化，而是具有一個若干像素跨度的混疊部分，即前景彩色與背景彩色的混合（可以認為是前景彩色與背景彩色經過低通濾波后的結果），而且由于深度獲取技術的限制，深度圖在物體邊緣的質量普遍較差，所以物體邊緣在彩色圖和深度圖中的邊界不能高度吻合，導致產生邊界合成失真。另外，傳統有損編碼可能會使彩色和深度的邊界變得模糊，加劇合成視點的邊緣失真。另一方面，由于部分場景在采集時，并不能完全假設場景物體為朗伯體，物體周圍可能存在陰影，在視點映射后，陰影部分像素將偏離物體，進而影響背景，產生背景噪音。

目前，針對彩色圖邊界混疊部分的虛擬視點合成算法，如Xuyuan?Xu等提出將彩色圖邊界混疊部分的深度值賦為前景深度值進行虛擬視點合成，此時能夠保證前景彩色到背景彩色的平滑過渡，但在前景至背景的邊界處，左視點的混疊部分將與右視點的正確彩色信息重合，導致視點融合（view?blending）后彩色錯誤(在背景到前景的邊界處，右視點的混疊部分將與左視點的正確彩色信息重合，導致視點融合后彩色錯誤)，如圖1和2所示。Ce?Zhu等人提出邊界區域的失配抑制對齊增強法，其中包括抑制彩色混疊部分的映射，該方法能夠有效地減少邊界失真，但同時因為彩色混疊部分（其中含有部分前景信息）不能映射至虛擬視點，虛擬視點中前景物體在邊界處將有所損失。另一方面，在傳統的視點合成算法中，由于沒有考慮在深度圖邊界位置左右視點的前景差異，導致視點融合后左右視點的部分正確前景信息與混疊部分融合，因此產生錯誤的融合結果，降低最終合成視點的質量。本發明通過對深度圖邊界位置的前景、背景以及彩色混疊和陰影部分的正確模擬，提出了相應的彩色混疊和陰影部分的映射方案，提高了虛擬視點合成質量。

發明內容

本發明的目的在于提供一種三維視頻虛擬視點合成中彩色混疊和陰影部分的處理方法。

本發明的目的通過如下步驟實現：

S1、選擇性映射左右視點深度圖邊界部分對應的彩色混疊和陰影部分，包括：

S11、在深度圖上建立平面直角坐標系XOY，規定X軸的正方向為右；

S12、從左向右進行掃描，判斷深度圖邊界部分對應的彩色混疊和陰影部分的深度變化為前景到背景或背景到前景；

S13、若S12所述彩色混疊和陰影部分對應的深度變化為前景到背景的變化，則抑制左視點的彩色混疊和陰影部分所有像素的映射，將右視點的彩色混疊和陰影部分的所有像素的深度值和右側相鄰的一個背景像素的深度值賦為前景像素的深度值進行獨立映射保存，其中，與之間像素位置差為1，其中，為彩色混疊和陰影部分的最右側的一個像素，

若S12所述彩色混疊和陰影部分對應的深度變化為背景到前景的變化，則抑制右視點的彩色混疊和陰影部分的所有像素的映射，將左視點的彩色混疊和陰影部分的所有像素的深度值和左側相鄰的一個背景像素的深度值賦為前景像素的深度值進行獨立映射保存，其中，與之間像素位置差為1，其中，為彩色混疊和陰影部分的最左側的一個像素；

S2、利用S13所述彩色混疊和陰影部分相鄰的背景像素p²的像素值判定是否保留彩色混疊和陰影部分，其中，p²包括和