[發明專利]基于深度圖的虛擬視點圖像生成方法

在審

• 申請號: 201710034878.0
• 申請日: 2017-01-17
• 公開（公告）號: CN106791774A
• 公開（公告）日: 2017-05-31
• 發明（設計）人: 向北海
• 申請（專利權）人: 湖南優象科技有限公司
• 主分類號: H04N13/00
• 分類號: H04N13/00;G06T7/50
• 代理公司: 北京中濟緯天專利代理有限公司11429
• 代理人: 陸薇薇

1.一種基于深度圖的虛擬視點圖像生成方法，其特征在于，包括以下步驟：

S1選取相機拍攝過程中的任意兩個視點圖像作為參考圖像，提取參考圖像的深度圖，采用半像素精度插值的方法對參考圖像進行平滑，并調整攝像機內參數，使插值后圖像仍能滿足圖像映射方程；并利用雙向異步映射機制對兩個參考視點的圖像和對應的深度圖像進行處理，分別繪制出虛擬視點圖像和虛擬深度圖像；

S2基于深度信息對空洞邊界區域進行擴展，去除背景上殘留的前景虛假輪廓；并根據圖像間的亮度差異簡化模型對虛擬視點圖像進行亮度校正，以消除亮度不連續問題；

S3根據亮度校正后的兩幅虛擬視點圖像像素點獲取方式的不同進行分類判斷，采用加權合成算法對亮度校正后的圖像進行融合，以消除大部分遮擋空洞；

S4采用窗口函數搜索空洞邊緣，利用背景信息對空洞點插值填充，生成畫面清晰的虛擬視點圖像。

2.根據權利要求1所述的基于深度圖的虛擬視點圖像生成方法，其特征在于，S1中，采用基于序列圖像匹配的方法提取兩幅參考圖像即參考圖像1和參考圖像2的深度圖，記為參考深度圖1和參考深度圖2。

3.根據權利要求1或2所述的基于深度圖的虛擬視點圖像生成方法，其特征在于，S1中，采用半像素精度插值的方法對參考圖像進行平滑是指通過求解相鄰像素點的平均值得到半像素插值點的值對參考圖像進行平滑。

4.根據權利要求3所述的基于深度圖的虛擬視點圖像生成方法，其特征在于，S1中，調整攝像機內參數，使插值后圖像仍能滿足圖像映射方程，其方法為：

設W和H分別為參考圖像的寬和高，f為攝像機焦距，(μ₀,ν₀)為參考圖像內一點在像素坐標系下的坐標，s為扭曲參數，利用k₁、k₂作為乘數對原攝像機內參數矩陣進行調整，其中k₁＝(2W-1)/W，k₂＝(2H-1)/H，按照(1)式將原攝像機內參數調整為新的攝像機內參數，使插值后圖像仍能滿足圖像映射方程：

$\left[\begin{array}{ccc}f/d_x& s& {\mathrm{\μ}}_0\\ 0& f/d_y& v_0\\ 0& 0& 1\end{array}\right]\→\left[\begin{array}{ccc}{k}_{1}f/d_x& k_{2}s& 2{\mathrm{\μ}}_0\\ 0& k_{2}f/d_y& 2v_0\\ 0& 0& 1\end{array}\right]---\left(1\right).$