[發明專利]用于生成虛擬視點圖像的設備和方法

在審

• 申請號: 201710252123.8
• 申請日: 2017-04-18
• 公開（公告）號: CN107590857A
• 公開（公告）日: 2018-01-16
• 發明（設計）人: 申泓昌;李光淳;李珍煥;許南淏
• 申請（專利權）人: 韓國電子通信研究院
• 主分類號: G06T19/00
• 分類號: G06T19/00
• 代理公司: 北京市柳沈律師事務所11105
• 代理人: 李芳華

相關申請的交叉引用

本申請要求2016年7月7日提交的韓國專利申請第10-2016-0086054號的權益，通過引用由此將其全部合并在該申請中。

技術領域

本發明一般涉及用于生成虛擬視點圖像的技術，并且更具體地，涉及用于使用與不同視點對應的基礎圖像與參考圖像之間的幾何關系、生成從虛擬視點觀看的圖像的技術。

背景技術

“虛擬視點圖像”意味著從虛擬視點觀看的圖像，其不是使用捕獲裝置實際捕獲的，而是使用利用捕獲裝置所捕獲的現有圖像生成的。

基本上，按照這樣的方式生成虛擬視點圖像，使得使用利用捕獲裝置獲取的參考圖像的幾何信息，將點映射到目標虛擬視點的位置，并且使用另一參考圖像對沒有映射的封閉(occluded)區域中的點進行映射。然后，利用附近的類似信息執行內插，由此最終生成與虛擬視點對應的虛擬視點圖像。這里，參考圖像的幾何信息可包括用于校準捕獲裝置的信息、關于個別像素的深度或視差的信息、等等。

在根據傳統技術的方法中，假設參考圖像具有相同尺寸，假設用于代表參考圖像之間的幾何信息的深度信息或視差信息具有其間的一一對應性，并且通過基于像素的映射來合成圖像。

因為以像素為基礎來執行映射，所以任何像素的不精確深度信息或不精確視差值可引起大量像素噪聲。一般來說，當使用立體匹配方法基于兩個圖像之間的所有像素的相似度而獲得對應點時，難以獲取精確結果。

而且，獲取所有像素的深度信息或視差值并利用獲取的信息生成圖像的處理是耗時的。所以，當必須實時生成虛擬視點圖像時，可存在質量和計算負荷之間的有問題的折衷。

即，必須通過研究除了傳統的基于像素的映射方法之外的方法，而開發可降低生成虛擬視點圖像所花費的時間量的技術。與此相關，韓國專利申請公開號10-2014-0022300公開了涉及“Method and apparatus for creating multi-view image”的技術。

發明內容

本發明的目的是提供與沒有從中捕獲圖像的視點對應的虛擬視點圖像。

本發明的另一目的是與傳統的基于像素的映射技術相比降低計算負荷。

本發明的另一目的是通過作為組處理具有區域特性的相鄰像素、而生成魯棒虛擬視點圖像。

本發明的另一目的是防止歸因于基于塊的映射的成塊偽影，以由此生成看上去自然的虛擬視點圖像。

為了實現以上目的，根據本發明的一種用于生成虛擬視點圖像的設備包括：分段圖像生成單元，用于將與不同視點對應的基礎圖像和參考圖像的每一個分段為片段單元；視差計算單元，用于通過計算被分段為片段單元的基礎圖像和參考圖像之間的視差值，來生成基礎視差圖像和參考視差圖像；圖像映射單元，用于使用視差值將基礎視差圖像和參考視差圖像映射到虛擬視點；和虛擬視點圖像生成單元，用于通過合成其中將基礎視差圖像映射到虛擬視點的第一映射圖像和其中將參考視差圖像映射到虛擬視點的第二映射圖像，而生成與該虛擬視點對應的虛擬視點圖像。

這里，該圖像映射單元可基于基礎視差圖像和參考視差圖像執行后向映射。

這里，該圖像映射單元可基于塊單元執行映射，該塊單元的尺寸等于或大于該片段單元的尺寸。

這里，該圖像映射單元可通過分派取決于基礎視差圖像或參考視差圖像的片段中的中心點與另一像素之間的距離的映射權重，來執行映射。

這里，該圖像映射單元可使用基礎圖像、基礎視差圖像、參考圖像、和參考視差圖像中的至少兩個來執行映射。

這里，當使用從基礎圖像、基礎視差圖像、參考圖像、和參考視差圖像中選擇的三個圖像執行映射時，該圖像映射單元可通過向基礎圖像和參考圖像的每一個分派混合權重，來執行映射。

這里，可使用基礎圖像的視點和虛擬視點之間的距離以及參考圖像的視點和虛擬視點之間的距離中的至少一個，來計算混合權重。

這里，該虛擬視點圖像生成單元可通過向第一映射圖像和第二映射圖像中的每一個分派合成權重，來生成虛擬視點圖像。

這里，可使用基礎圖像的視點和虛擬視點之間的距離以及參考圖像的視點和虛擬視點之間的距離中的至少一個，來設置合成權重。

這里，可使用映射到與同一像素對應的位置的、基礎圖像中的像素值和參考圖像中的像素值之間的誤差值，來設置合成權重。

這里，該設備可進一步包括圖像內插單元，用于填充虛擬視點圖像中的洞。

這里，該圖像內插單元可使用基于與該洞對應的空間軸和時間軸中的至少一個相鄰的區域中的像素的值，來填充該洞。