[發明專利]多視點立體視頻的深度序列生成方法和裝置

有效

• 申請號: 201110227435.6
• 申請日: 2011-08-09
• 公開（公告）號: CN102271268A
• 公開（公告）日: 2011-12-07
• 發明（設計）人: 季向陽;劉瓊;戴瓊海
• 申請（專利權）人: 清華大學
• 主分類號: H04N13/00
• 分類號: H04N13/00
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張大威

技術領域

本發明涉及計算機視覺和視頻處理技術領域，特別涉及一種多視點立體視頻的深度序列生成方法和裝置。

背景技術

多視點立體視頻是當前計算機視覺、圖形學、圖像視頻處理等學科領域的研究熱點，被廣泛應用于影視制作、文物保護、軍事模擬等領域。多視點立體視頻數據由色彩、紋理、運動、深度等多維信息構成。其中深度信息的存在，使得多視點立體視頻在視覺上具有強烈的真實感與沉浸感。但是，目前動態場景高精度稠密深度圖的獲取需要極大的計算資源，限制了需要深度信息的多視點立體視頻系統的廣泛應用和發展。因此，如何高效的獲取稠密深度圖序列，是一個亟待解決的關鍵問題。

視差估計的過程即為立體匹配的過程，是進行多視點立體視頻深度計算的前提。目前立體匹配方法可歸結為兩類：基于窗口的局部方法和利用能量函數進行求解的全局方法。基于窗口的局部方法的特點是計算復雜度低，執行效率高，但得到的視差誤差較大，匹配精度較低，難以滿足那些對匹配精度要求較高的實際應用；而基于能量的全局方法則由于可以得到較為精確的視差值，因此受到越來越廣泛的重視。基于能量的全局方法中的能量函數一般是以下兩部分能量之和：首先是數據項，用來測量單個基元之間的對應性；其次是平滑項，用來約束相鄰基元間視差的跳躍。構造完能量函數后，即可再利用優化算法來最小化或最大化能量函數和求得視差的最優解。目前在立體匹配中應用最為成功的優化算法是圖割(GC，Graph?Cut)和置信傳遞(BP，Belief?Propagation)算法。

為了獲取高精度的多視點立體視頻深度序列，現有方法通常采用全局優化的方法來通過多次迭代獲得最優解，但是，現有方法不僅計算復雜度高，且對硬件要求高，帶來硬件成本的提高。

發明內容

本發明旨在至少解決上述技術問題之一。

為此，本發明的一個目的在于提出一種多視點立體視頻的深度序列生成方法，該方法通過對深度信息的有效預判，從而降低計算量，提高計算效率。另外，該方法對計算所占用的資源消耗小，對硬件要求低，節省硬件成本。

本發明的另一目的在于提出一種多視點立體視頻的深度序列生成裝置，該裝置通過對深度信息的有效預判，從而降低計算量，提高計算效率，且對計算所占用的資源消耗小，對硬件要求低，節省硬件成本。另外，該裝置結構簡單，易于實現。

為了實現上述目的，本發明第一方面實施例提出的多視點立體視頻的深度序列生成方法，包括以下步驟：提供多視點立體視頻序列，其中，所述多視點立體視頻序列的視點的數量為N，N為不小于2的整數；根據所述多視點立體視頻序列構造所述多視點立體視頻序列的貝葉斯模型，并根據所述貝葉斯模型確定所述多視點立體視頻序列中每一幀圖像中每一個像素點的深度獲取方式；根據所述深度獲取方式對相應的像素點進行深度賦值以得到所述每一幀圖像的深度圖像，其中，所述深度獲取方式包括時域預測方法、視點間預測方法和深度計算方法；以及根據所述多視點立體視頻序列的每個視點和所述每一幀圖像的采集時間對全部所述深度圖像進行整合，以得到與所述多視點立體視頻序列對應的深度序列。

根據本發明實施例的多視點立體視頻的深度序列生成方法，通過多視點立體視頻序列中的彩色視頻信息提供時域和視點間相關性信息，然后結合貝葉斯概率模型進行動態更新，對深度信息進行有效預判，從而能夠降低全局優化的迭代次數，降低計算復雜度。另外，應用本發明實施例的方法得到的深度圖，能夠在保證深度序列數值精度的情況下，明顯降低計算復雜度、使運算耗時大幅降低，提高計算效率，且該方法占用計算資源與傳統方法相比較少，因此，對硬件的要求低，進而降低硬件成本。

另外，根據本發明的多視點立體視頻的深度序列生成方法還可以具有如下附加的技術特征：

在本發明的一個實施例中，所述貝葉斯模型包括：時域貝葉斯模型，所述時域貝葉斯模型為根據所述多視點立體視頻序列的同一視點下的所述每一幀圖像的獲取時間建立；視點間貝葉斯模型，所述視點間貝葉斯模型為根據所述多視點立體視頻序列在同一時刻、不同視點的N個圖像間的關系建立。

根據本發明的一個實施例，所述時域貝葉斯模型如下所示：

式1，

式2，