[發明專利]一種平面視頻轉立體視頻的方法及裝置

在審

• 申請號: 201410697508.1
• 申請日: 2014-11-26
• 公開（公告）號: CN104506872A
• 公開（公告）日: 2015-04-08
• 發明（設計）人: 張新;柯家琪;廖智宏
• 申請（專利權）人: 深圳凱澳斯科技有限公司
• 主分類號: H04N19/597
• 分類號: H04N19/597;H04N13/00;H04N13/04
• 代理公司: 深圳新創友知識產權代理有限公司44223
• 代理人: 江耀純

1.一種平面視頻轉立體視頻的方法，包括對平面視頻的每一幀圖像執行以下步驟：

S1、獲取當前幀圖像的深度圖D：通過基于塊匹配的運動估計獲取第一深度圖D₁；通過邊緣檢測算法和霍夫變換算法提取當前幀圖像中的消失點和消失線，根據圖像深度與消失點和消失線之間的關系構建第二深度圖D₂；通過基于顏色信息的方法估算第三深度圖D₃；對所述第一深度圖D₁、所述第二深度圖D₂和所述第三深度圖D₃執行深度融合，以獲取所述當前幀圖像的深度圖D；

S2、基于DIBR算法，由參考圖和所述深度圖D生成多視點立體視圖，其中所述參考圖為所述當前幀圖像，所述多視點立體視圖包括多對左右眼視圖；

S3、根據用戶的立體視頻格式要求，從所述多視點立體視圖中選取至少一對所述左右眼視圖執行立體渲染，以生成相應格式的彩色立體視頻。

2.如權利要求1所述的方法，其特征在于：所述步驟S1中獲取所述第一深度圖D₁具體包括：提取緩存中的連續兩幀圖像分別為I₁、I₂，以I₁作為當前幀、I₂作為參考幀，其中I₂為I₁的前一幀，通過基于塊匹配的運動估計，計算第一運動矢量，根據當前幀I₁和所述第一運動矢量，得到預測幀I_pre；再以預測幀I_pre作為參考幀，I₂作為當前幀，通過基于塊匹配的運動估計，計算第二運動矢量，根據所述第二運動矢量，獲得所述第一深度圖D₁，其中，所述第一深度圖D₁中每個點的灰度值為I₂中的每個像素的運動矢量的模值。

3.如權利要求2所述的方法，其特征在于：在FPGA內采用并行算法進行所述運動估計的硬件結構設計，并在FPGA的多個處理單元內構成并行處理陣列以同時計算所述第一深度圖D₁、所述第二深度圖D₂和所述第三深度圖D₃。

4.如權利要求1所述的方法，其特征在于：所述步驟S1中所述圖像深度與消失點和消失線之間的關系為：消失線的交點為消失點，消失點為深度最大的點，圖像深度沿消失線從最大變化到最小。

5.如權利要求1所述的方法，其特征在于：所述步驟S1中獲取所述第三深度圖像D₃具體包括：計算所述當前幀圖像中每個像素的藍色分量與紅色分量的第一差值、藍色分量與綠色分量的第二差值，以所述第一差值與所述第二差值的乘積作為所述第三深度圖的每個像素的像素值，從而獲得所述第三深度圖D₃。

6.如權利要求1所述的方法，其特征在于：所述步驟S1中進行所述深度融合以獲取所述深度圖D具體包括：對所述第一深度圖D₁、所述第二深度圖D₂和所述第三深度圖D₃執行深度圖加權融合D＝αD₁+βD₂+γD₃，其中α+β+γ＝1。

7.如權利要求6所述的方法，其特征在于：所述視頻場景包括人工場景和自然場景，當視頻場景為人工場景時，0.5＜α＜1，0.2＜β＜0.5，0＜γ＜0.1；當視頻場景為自然場景時，0.5＜α＜1，0＜β＜0.1，0.2＜γ＜0.5。

8.如權利要求1所述的方法，其特征在于：所述步驟S2具體包括：

S21、對所述深度圖D進行雙邊濾波；

S22、使用圖像映射公式完成多視點圖像的映射，生成所述多視點立體視圖；

S23、對所述多視點立體視圖進行空洞填充和修補。