[發明專利]一種基于單視點RGB-D圖像的大尺度全景視點合成方法

有效

• 申請號: 202010113813.7
• 申請日: 2020-02-24
• 公開（公告）號: CN111325693B
• 公開（公告）日: 2022-07-12
• 發明（設計）人: 楊勐;馬勇;鄭南寧
• 申請（專利權）人: 西安交通大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T7/50;G06N3/04;G06N3/08
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 高博

本發明公開了一種基于單視點RGB?D圖像的大尺度全景視點合成方法，首先對輸入的單幀彩色圖和對應的深度圖分別進行3D?Warping，得到帶有空洞的虛擬視點圖像和掩膜圖像。接下來將帶有空洞的虛擬視點圖像及掩膜圖像作為CNN神經網絡的輸入，網絡模型的輸出結果即為虛擬視點空洞填補后的圖像，接下來將水平方向新生成的虛擬視點作為新的輸入，通過3D?Warping及CNN神經網絡空洞填充得到空間中任意位置處的虛擬視點圖像。本發明實現了從整體上提高虛擬視點的質量，對提高大視差虛擬視點合成具有重要的指導意義。

技術領域

本發明屬于圖像處理技術領域，具體涉及一種基于單視點RGB-D圖像的大尺度全景視點合成方法。

背景技術

隨著科學技術的發展和人們生活水平的提高，傳統的二維視屏帶來的視覺體驗已經愈來愈無法滿足人們的觀影需求。因此，眾多研究機構和工業界都在視屏生動性的提升上投入了越來越多的關注，全方位視屏、自由視點視屏、交互式立體視屏應運而生。其中自由視點視屏因其可以滿足用戶從任意視點觀看視屏的需求，得到了廣泛的應運。近年來圖像采集技術、網絡通信技術、計算機技術和立體顯示技術的快速發展，進一步推動了自由視點視屏的發展。然而自由視點視屏觀看自由度和沉浸感的提升是以龐大的視屏數據為代價，這給視屏采集、存儲和傳輸都帶來了嚴峻的挑戰。而且由于帶寬以及設備的限制，不可能在任意視點都放置一臺攝像機，這就需要通過已知的參考視點視屏來獲得用戶需要的虛擬視點視屏，因此虛擬視點繪制成為自由視點視屏應運的關鍵技術。

現有的虛擬視點繪制方法基本上可劃分為兩大類，一類是基于模型繪制(ModelBased Rendering,MBR)方法，另一類是基于圖像繪制(Image Based Rendering,IBR)方法。在基于圖像的繪制方法中，基于深度圖像的虛擬視點繪制技術(Depth Image BasedRendering,DIBR)充分運用參考圖像中的深度信息，將彩色圖像和三維深度信息進行了有效結合，提高了對自然場景的繪制速度，相比于其他的IBR技術更具發展前景，因此受到廣泛關注。目前，根據參考視點個數，基于深度圖像的虛擬視點繪制(DIBR)方法可以分成基于單視點映射的虛擬視點繪制和基于雙視點映射的虛擬視點繪制兩類。其中基于雙視點映射的虛擬視點繪制利用兩個參考視點的彩色圖像以及相對應的深度圖像插值新視點位置來繪制虛擬視點圖像。該方法能夠從不同的參考視點圖像中獲取被遮擋區域信息以填補空洞區域；基于單視點映射的虛擬視點繪制利用一個參考視點的彩色圖像以及相對應的深度圖像通過3D Warping變換來獲得虛擬視點圖像。其局限性在于虛擬視點中被遮擋的區域會產生很多大的空洞區域，而這些空洞區域由于缺少信息很難去填補，對于繪制高質量的虛擬視點是一個巨大挑戰。

目前，基于單視點映射大視差虛擬視點存在許多待解決的問題：

首先，不精確的深度圖像會導致繪制的虛擬視點圖像出現細小裂縫、偽影、變形等失真現象；

其次，參考視點圖像中被遮擋的區域在新的虛擬視點圖像中可能顯現出來，而且這部分被遮擋區域信息是未知的，因此形成大的空洞區域，使得合成的虛擬視點圖像前景物體邊緣出現黑邊，影響虛擬視點質量。雙視點可以從不同的參考視點圖像中獲得被遮擋區域的信息以填補空洞區域，得到較高質量的虛擬視點圖像，單視點相比于雙視點無法做到這一點；

最后對于基于單視點RGB-D圖像大尺度視點合成過程中出現的大區域空洞填充、合成視點結構重疊，變形失真等問題。針對單視點RGB-D圖像大尺度視點合成過程中出現的上述問題，現有方法仍存在許多不足。

發明內容

本發明所要解決的技術問題在于針對上述現有技術中的不足，提供一種基于單視點RGB-D圖像的大尺度全景視點合成方法，能夠提高合成虛擬視點的圖像質量，從而獲得大視差三維立體顯示效果。

本發明采用以下技術方案：