[發明專利]一種視頻圖像2D轉3D中優化處理深度圖的方法和裝置

無效

• 申請號: 201310153656.2
• 申請日: 2013-04-27
• 公開（公告）號: CN104125446A
• 公開（公告）日: 2014-10-29
• 發明（設計）人: 黃強;徐瀚杰
• 申請（專利權）人: 瑞智半導體（上海）有限公司
• 主分類號: H04N13/00
• 分類號: H04N13/00;H04N5/14
• 代理公司: 北京市盈科律師事務所 11344
• 代理人: 郭桂峰

技術領域

本發明涉及一種視頻圖像2D轉3D中提升深度圖質量的方法，尤其涉及一種基于場景連貫度和場景自然度的對比度優化的方法，大大提高了深度圖的對比度，并且保持芯片計算開銷在合理范圍之內。

背景技術

在視頻圖像2D轉3D的過程中，主要分為兩個大的環節：深度圖像的提取、3D視差圖像的渲染。其中深度圖像的提取是視頻圖像2D轉3D計算過程中的重點和難點，如果不對所提取的深度圖進行嚴格的優化處理，那么由此深度圖渲染而成的3D視差圖像產生的3D視覺效果將大打折扣。

一些傳統的深度圖優化處理方法主要是對深度圖進行簡單的低通濾波處理，雖然這種方法在一定程度上可以改善深度圖的高頻噪聲，讓深度圖在一定程度上均衡統一。但是經過試驗發現在深度圖中運動物體的灰度值與背景的灰度值對比度不明顯，對比度小的深度圖渲染出來的3D視差圖像中運動物體與背景的景深差距就小，3D視覺效果很不理想。目前對深度圖進行優化處理的方法和手段各種各樣，但這眾多技術之中大都存在嚴重的缺點，要么對比度提升不明顯，要么計算量太大而無法實時處理，這樣就很難達到實際生產的需求。

中國專利ZL200910151710.3提供了一種生成深度圖的方法，此方法利用顯著性圖生成模塊和3D結構匹配模塊，分別生成兩路深度圖，通過這兩路深度圖合成初始深度圖，最后對深度圖進行空域和時域的平滑濾波，得到最終深度圖。可以發現該方法的主要不足之處在于：對深度圖進行空域和時域的平滑濾波操作仍然是簡單的低通濾波處理，深度圖的對比度仍然沒有改善。

本發明將對由基于運動估計和運動矢量深度圖生成裝置而生成的深度圖進行嚴格的對比度提升處理。具體包括當前幀源圖像與前一幀源圖像之間的場景連貫度檢測、當前幀源圖像場景自然度檢測、有效深度圖區域內的對比度分化閾值計算和深度圖對比度提升處理等環節。可以看出發明所示提升深度圖質量的方法效果明顯、運算量適中，大大彌補了原專利文獻的缺點和不足。

發明內容

針對上述提及的技術問題，本發明提出一種2D轉3D中提升深度圖質量的方法，所述方法主要包括：初始深度圖計算、當前幀源圖像與前一幀源圖像之間的場景連貫度檢測、當前幀源圖像場景自然度檢測、有效深度圖區域內的對比度分化閾值計算和深度圖對比度提升處理等五部分，其中由運動估計和運動矢量計算初始深度圖為現有技術，本說明書將不再詳細介紹，下面重點介紹其余四個部分：

如圖1所示的提升深度圖質量的方法之流程圖，本發明所揭示的方法會自動根據場景連貫度的大小（場景連貫度閾值）情況判斷深度圖對比度提升處理過程中是選用當前幀的對比度分化閾值還是選用前一幀的對比度分化閾值。簡單的說，當前場景連貫度較大時選用前一幀的對比度分化閾值，場景連貫度較小時重新計算當前幀的對比度分化閾值，這種基于場景連貫度的選擇性處理可以在一定程度上有效降低圖像處理芯片的運算量，提高運算處理速度。

具體而言，場景連貫度檢測包含：檢測至少一個當前幀源圖像像素點的灰度值大小，檢測至少一個前一幀源圖像的灰度值大小，計算前一幀源圖像灰度值與后一幀源圖像灰度值差值的絕對值與一固定常數對比，并針對所述當前幀源圖像所有像素點重復所述的灰度值檢測與所述弧度制差值的絕對值與所述固定常數對比，并計算小于固定常數的像素點個數占總像素點的百分比，即計算出一場景連貫度，如該場景連貫度大于一固定百分比，則該當前與前一幀源圖像具有相關性，則自動根據前一幀源圖像的對比度分化閾值進入深度圖對比度提升處理步驟，如所述的場景連貫度大于一固定百分比，則所述的當前與前一幀源圖像沒有有相關性，則自動進入當前幀源圖像場景自然度檢測步驟；

本發明所揭示的方法自動根據場景自然度的大小（場景自然度閾值）情況來確定在深度圖中計算對比度分化閾值的有效運算區域。有效運算區域的選擇至關重要，因為它決定了對比度分化閾值的計算結果是否準確。如果運算區域選擇錯誤，讓一些非自然因素干擾那么不但不能提升深度圖質量，反而降低深度圖的有效信息量，讓最終的3D視差圖像受損。

具體而言，當前幀源圖像場景自然度檢測包含：檢測當前幀源圖像至少兩個相鄰的水平或垂直像素點的灰度值大小，比較該水平或垂直像素點灰度值大小，通過前述的兩個相鄰水平或垂直像素點灰度值差值的絕對值與一固定常數對比，并針對所述的當前幀源圖像所有水平或垂直像素點重復所述的檢測和對比，并計算大于前述固定常數的水平和垂直像素點個數占總像素點個數的百分比，即計算出一場景自然度；