[發明專利]基于深度圖的虛擬視點圖像生成方法

在審

• 申請號: 201710034878.0
• 申請日: 2017-01-17
• 公開（公告）號: CN106791774A
• 公開（公告）日: 2017-05-31
• 發明（設計）人: 向北海
• 申請（專利權）人: 湖南優象科技有限公司
• 主分類號: H04N13/00
• 分類號: H04N13/00;G06T7/50
• 代理公司: 北京中濟緯天專利代理有限公司11429
• 代理人: 陸薇薇

技術領域

本發明屬于圖像處理技術領域，涉及虛擬視點圖像生成方法，特指一種基于深度圖的虛擬視點圖像生成方法。

背景技術

隨著計算機視覺技術的迅猛發展，人們對視覺資源質量的要求越來越高，對視覺體驗的需求逐步提升，在不僅追求高質量視頻源，同時對立體效果的呈現和交互式體驗的要求也愈加強烈。使用戶通過交互式操作能夠隨時改變攝像機的位置和朝向，沿著自定義的軌跡移動，通過本不存在的視點觀看視頻，打破傳統視頻中鏡頭視角的限制。為了達成這一目標，虛擬視點生成技術應運而生。虛擬視點生成技術是利用攝像機拍攝的兩個相鄰視點的圖像來生成相機中間視點的虛擬視點圖像，生成的虛擬視點圖像可以讓用戶從更多的角度來感受真實客觀世界。

虛擬視點繪制技術主要有兩種：基于模型繪制技術和基于圖像繪制技術。基于模型繪制技術雖然在細節信息方面有較好的效果，但是建模過程復雜，實用性較差。基于圖像繪制技術是一種利用參考視點的圖像來生成虛擬視點的圖像的技術，能夠較多的減少傳輸帶寬，同時也獲得了較好的圖像渲染質量。基于深度圖像的虛擬視點生成技術是一種常用的基于圖像的繪制技術，主要包括深度圖的預處理、圖像轉換、圖像融合、空洞填充四個步驟。深度圖的處理是對相鄰的攝像機拍攝的圖像的深度圖像進行圖像平滑等處理，來減少合成的圖像中的空洞和裂縫的數量，圖像轉換是利用兩個攝像機的圖像來通過三維坐標轉換的方法得到攝像機中間的虛擬視點的圖像，圖像融合技術是將由兩個攝像機得到的兩幅虛擬視點圖像融合成一幅圖像，空洞填充是將圖像融合后得到的圖像中的空洞點進行填充，來生成圖像質量較高的虛擬視點的圖像。但基于深度圖像的虛擬視點生成技術中繪制的圖像存在著重疊、空洞、裂縫、偽影等技術難點問題。

發明內容

本發明的目的在于提出一種基于深度圖的虛擬視點圖像生成方法，其通過插值平滑、攝像機內參調整保證圖像映射精度，利用空洞區域擴展法去除虛假輪廓和偽影，根據圖像間的亮度差異簡化模型消除亮度不連續問題，采用加權合成算法消除大部分遮擋空洞之后，利用窗函數搜索空洞邊緣，結合背景信息對空洞點插值填充，最后生成畫面清晰的虛擬視點圖像。

為實現上述技術目的，本發明的技術方案是，

一種基于深度圖的虛擬視點圖像生成方法，包括以下步驟：

S1選取相機拍攝過程中的任意兩個視點圖像作為參考圖像，提取參考圖像的深度圖，采用半像素精度插值的方法對參考圖像進行平滑，并調整攝像機內參數，使插值后圖像仍能滿足圖像映射方程；并利用雙向異步映射機制對兩個參考視點的圖像和對應的深度圖像進行處理，分別繪制出虛擬視點圖像和虛擬深度圖像；

S2基于深度信息對空洞邊界區域進行擴展，去除背景上殘留的前景虛假輪廓；并根據圖像間的亮度差異簡化模型對虛擬視點圖像進行亮度校正，以消除亮度不連續問題；

S3根據亮度校正后的兩幅虛擬視點圖像像素點獲取方式的不同進行分類判斷，采用加權合成算法對亮度校正后的圖像進行融合，以消除大部分遮擋空洞；

S4采用窗口函數搜索空洞邊緣，利用背景信息對空洞點插值填充，生成畫面清晰的虛擬視點圖像。

本發明中，S1包括以下步驟：

S11選取相機拍攝過程中的任意兩個視點圖像作為參考圖像1和參考圖像2，基于序列圖像匹配的方法是通過視圖之間的視差來獲取圖像的深度信息，提取參考圖像1和參考圖像2的深度圖分別得到參考深度圖1和參考深度圖2。獲取圖像深度信息的方法有多種，比如基于序列圖像匹配的方法、結構光測距法、三角測距法等。

S12為了提高圖像的繪制精度，在繪制虛擬視點圖像之前，采用半像素精度插值的方法，通過求解相鄰像素點的平均值得到半像素插值點的值對參考圖像進行平滑。

設W和H分別為參考圖像的寬和高，f為攝像機焦距，(μ₀,ν₀)為參考圖像內一點在像素坐標系下的坐標，s為扭曲參數，利用k₁、k₂作為乘數對原攝像機內參數矩陣進行調整，其中k₁＝(2W-1)/W，k₂＝(2H-1)/H，按照(1)式將原攝像機內參數調整為新的攝像機內參數，使插值后圖像仍能滿足圖像映射方程。

S13利用雙向異步映射機制對兩個參考視點的圖像和對應的深度圖像進行處理，分別繪制出虛擬視點圖像和虛擬深度圖像，具體過程為：

建立3D圖像映射方程，根據半像素精度插值處理后的兩幅參考圖像和對應的深度圖，利用(2)式分別得到虛擬視點圖像和虛擬深度圖像。