[發明專利]基于深度和遮擋信息的虛擬視點合成方法

有效

• 申請號: 200810062811.9
• 申請日: 2008-07-03
• 公開（公告）號: CN101312540A
• 公開（公告）日: 2008-11-26
• 發明（設計）人: 馮雅美;李東曉;張明;石冰;駱凱;謝賢海;何賽軍
• 申請（專利權）人: 浙江大學
• 主分類號: H04N13/00
• 分類號: H04N13/00;H04N7/26;G06T7/00
• 代理公司: 杭州求是專利事務所有限公司
• 代理人: 張法高

技術領域

本發明涉及圖像處理領域，尤其涉及一種基于深度和遮擋信息的虛擬視點合成方法。

背景技術

隨著視頻相關技術的發展，人們對于下一代視頻應用逐漸追求自由視點和立體視覺，這要求在顯示端可以完整重建相應的三維場景。

在顯示端要得到自由立體視覺，重建相應的三維場景，即需要得到該三維場景的多視點以至任意視點的視頻圖像。針對這一目的，現在主要有兩種途徑來實現：一種是基于模型的3D建模方法；另一種是基于圖像的合成方法。基于模型的3D建模方法重建的視點圖像質量更高，但同時運算復雜度也非常高，其復雜度隨著場景內容而顯著變化，且一般需要特殊的圖像處理硬件才能實現；基于圖像的合成方法相對來說復雜度比較低，更適合自然三維場景的視點重建。基于圖像的的視點重建方法是通過一個或多個視點(參考視點)圖像來重建其他視點(虛擬視點)的圖像，一般參考視點越多，虛擬視點的圖像也越好。參考視點個數的增多，對網絡的傳輸帶寬帶來了巨大的挑戰。因此，一方面為了節省網絡帶寬，另一方面為了得到真實的自由立體視覺體驗，急切需要一種高效的虛擬視點合成方法。

基于圖像的的虛擬視點合成方法，現在的實現途徑主要有兩種。一種是基于多視點視頻編碼(Multi-view?Video?Coding，MVC)的虛擬視點合成方法。MVC，它利用各個視點之間相關性來進行壓縮，它編碼主視點的完整二維視頻信息圖像，以及其余每一路視點的視差矢量與殘差，其碼率隨著視點個數的增加線性增長，在解碼端可以通過插值相鄰視點的圖像來生成虛擬視點圖像。另一種方法是ATTEST采用的二維視頻加其深度的虛擬視點合成方法。ATTEST系統在編碼端只編碼一路參考視頻及其深度信息，在解碼端采用基于深度圖像的繪制方法(depth?image?based?rendering，DIBR)，可以重建出任意視點的二維圖像。與基于MVC的虛擬視點合成方法相比，這種二維視頻加其深度的方法只需編碼一路二維視頻和一路深度圖，網絡傳輸負擔比較小，而在解碼端可以恢復出任一位置的虛擬視點圖像；但是由于物體相互遮擋現象的存在，利用深度信息恢復得到的虛擬視點圖像內部會出現明顯的空洞，并且隨著虛擬視點的位置逐漸偏離參考視點，空洞現象會更加嚴重，導致虛擬視點的質量逐漸下降。

為了控制碼率，MVC編碼方法對被編碼的視點個數有比較大的限制，導致參考視點比較少，在解碼端只能插值出有限位置的虛擬視點；并且由于物體在不同視點的成像位置受其景深的影響很大，且不同的物體一般其景深可能差別很大，因此很難提供一種高效的基于鄰近二維圖像的視點插值方法，以比較精確的恢復出虛擬視點。

ATTEST采用的二維視頻加其深度的方法可以恢復出任意位置的虛擬視點圖像，其關鍵技術是基于深度圖像的繪制方法。基于深度圖像的繪制方法是一種利用參考圖像及其對應的深度信息來合成場景中虛擬視點的過程。基于深度圖像的繪制方法主要可以分為以下兩步：(1)利用深度信息，將參考圖像上所有的像素點重投影到它們對應的3維空間中的位置；(2)這些3維空間點再被投影到虛擬視點的圖像平面。這個從2維到3維的重投影以及從3維再到2維的投影稱為3維圖像變換，其核心是其繪制方程，可表示為：z^m^=zA^RA-1m+A^T;]]>其中，m和分別是參考圖像和被繪制圖像中的像素坐標；z和分別是三維空間點在參考相機和被繪制相機坐標系下的深度值；矩陣A和分別是參考相機和被繪制相機的內參矩陣；R和T分別指被繪制相機相對于參考相機的旋轉矩陣和平移矩陣。現有的基于深度圖像的繪制方法，其主要的缺點是不能有效的解決遮擋問題，導致繪制得到的虛擬視點圖像質量不高。