[發明專利]多視點視頻中虛擬視點合成方法及裝置

無效

• 申請號: 201110267778.5
• 申請日: 2011-09-09
• 公開（公告）號: CN102325259A
• 公開（公告）日: 2012-01-18
• 發明（設計）人: 劉琚;王路;孫建德;劉微
• 申請（專利權）人: 青島海信數字多媒體技術國家重點實驗室有限公司
• 主分類號: H04N13/00
• 分類號: H04N13/00;H04N5/262
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 孔凡紅

1.一種多視點視頻中虛擬視點合成方法，其特征在于，包括：

步驟1、根據第一攝像機得到的第一參考視點圖像及其深度圖像、第一攝像機參數，對所述第一參考視點圖像進行三維圖像變換，得到第一虛擬視點圖像及其深度圖像和空洞圖；以及，根據第二攝像機得到的第二參考視點圖像及其深度圖像、第二攝像機參數，對所述第二參考視點圖像進行三維圖像變換，得到第二虛擬視點圖像及其深度圖像和空洞圖；

步驟2、根據所述第一虛擬視點圖像的空洞圖，采用水平、垂直和對角外推法對所述第一虛擬視點圖像進行小洞填充，得到小洞填充后的第一虛擬視點圖像；以及根據所述第二虛擬視點圖像的空洞圖，采用水平、垂直和對角外推法對所述第二虛擬視點圖像進行小洞填充，得到小洞填充后的第二虛擬視點圖像；

步驟3、將小洞填充后的第一虛擬視點圖像與第二虛擬視點圖像作為彼此的參考圖像，進行圖像互補，分別得到圖像互補后的第一虛擬視點圖像和第二虛擬視點圖像；

步驟4、將圖像互補后的第一虛擬視點圖像與第二虛擬視點圖像進行融合，得到主虛擬視點圖像；

步驟5、對所述第一參考視點圖像與所述第二參考視點圖像分別進行深度圖處理，得到深度圖處理后的第一參考視點圖像和第二參考試點彩色圖像；再按照上述步驟1～步驟4對深度圖處理后的第一參考視點圖像和第二參考試點彩色圖像進行相應的處理，得到副虛擬視點圖像；

步驟6、根據所述副虛擬視點圖像對所述主虛擬視點圖像進行空洞填補，生成虛擬視點圖像。

2.如權利要求1所述的方法，其特征在于，上述步驟1中，對所述第一參考視點圖像進行三維圖像變換，包括：

步驟a1、將所述第一參考視點圖像中的像素點映射到三維空間中；

步驟b1、將步驟a1中已經映射到三維空間之后的像素點重投影到第一虛擬視點圖像上；

步驟c1、采用Z-fuffer和取整方法對所述第一虛擬視點圖像中的像素點的坐標值進行篩選；

對所述第二參考視點圖像進行三維圖像變換，包括：

步驟a2、將所述第二參考視點圖像中的像素點映射到三維空間中；

步驟b2、將步驟a2中已經映射到三維空間之后的像素點重投影到第二虛擬視點圖像上；

步驟c2、采用Z-fuffer和取整方法對所述第二虛擬視點圖像中的像素點的坐標值進行篩選。

3.如權利要求2所述的方法，其特征在于：

在所述步驟a1、步驟b1和步驟c1中，第一參考視點圖像中的像素點的坐標點所在的圖像坐標系為：以第一參考視點圖像的左上角為原點，沿水平方向為橫坐標，沿豎直方向為縱坐標；在所述步驟a2、步驟b2和步驟c2中，第二參考視點圖像中的像素點的坐標點所在的圖像坐標系為：以第二參考視點圖像的左上角為原點，沿水平方向為橫坐標，沿豎直方向為縱坐標；

所述三維空間的空間坐標系為：以屏幕的左下角為原點，該空間坐標系的x軸沿屏幕平面的豎直方向，y軸沿屏幕平面的水平方向。

4.如權利要求1所述的方法，其特征在于，對所述第一虛擬視點圖像進行小洞填充，包括：根據所述第一虛擬視點圖像的空洞圖中的像素值，確定出在所述第一虛擬試點彩色圖像中相應位置是否為空洞；對所述空洞圖中像素值為0的點m1，在所述第一虛擬視點圖像的深度圖中相應位置的水平、垂直和對角邊界點中確定出深度值最大的點n1；將n1點在所述第一虛擬視點圖像中的像素信息賦予m1點；

對所述第二虛擬視點圖像進行小洞填充，包括：根據所述第二虛擬視點圖像的空洞圖中的像素值，確定出在所述第二虛擬試點彩色圖像中相應位置是否為空洞；對所述空洞圖中像素值為0的點m2，在所述第二虛擬視點圖像的深度圖中相應位置的水平、垂直和對角邊界點中確定出深度值最大的點n2；將n2點在所述第二虛擬視點圖像中的像素信息賦予m2點。