[發明專利]一種基于區域連通圖的立體視頻深度圖的制作方法和裝置

有效

• 申請號: 201110226447.7
• 申請日: 2011-08-08
• 公開（公告）號: CN102316352A
• 公開（公告）日: 2012-01-11
• 發明（設計）人: 戴瓊海;李振堯;王好謙
• 申請（專利權）人: 清華大學
• 主分類號: H04N13/00
• 分類號: H04N13/00
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張大威

技術領域

本發明涉及計算機圖像處理領域，特別涉及一種基于區域連通圖的立體視頻深度圖的制作方法和裝置。

背景技術

立體視頻是視覺信息的一種重要的表示方式，其研究涉及計算機視覺、圖像視頻處理、模式識別等領域，在航空航天、軍事訓練、醫療教育、游戲傳媒等領域有著廣闊的應用前景。立體視頻可以通過多種方式進行制作，例如：立體攝像機拍攝、三維建模軟件制作、平面視頻立體化轉換等。但是立體攝像機拍攝的制作成本較高，并且對設備校準、拍攝環境、后期制作的要求很高。并且，三維建模軟件制作需要專業人員花費大量精力進行場景、對象建模，其經濟成本和制作時間同樣居高不下。因此，專業人員通常采用通過計算機視覺、圖像處理等技術將平面視頻轉換為立體視頻，相對于立體視頻制作技術具有成本低、速度快等優勢。

現有的平面視頻轉立體視頻方法按照是否使用深度圖分為兩類：1)不基于深度圖的轉換方法通過在原始平面圖像上直接進行逐像素的平移操作，獲得另一視角的圖像。這種方法的人力成本很高，速度較慢且不便于調節視差大小；2)基于深度圖的轉換方法首先逐幀生成深度圖，然后利用基于深度圖的圖像渲染(DIBR，Depth-Image-Based?Rendering)算法將每一幀平面圖像轉換為立體圖像。由于DIBR算法已經較為成熟，所以如何生成高質量的深度圖成為本領域技術人員研究的重點。

就目前而言，大多數深度圖制作流程都可分為前景對象提取和深度賦值兩個階段。在前景對象提取階段，操作者需要使用多種工具對圖像進行分割從而得到所關注的前景物體。在接下來的深度賦值階段中，操作者可以選擇利用已有的深度賦值模型或各種畫筆工具繪制各個對象的深度并組合成完整的深度圖。操作者可能無法準確的將人工深度標記放置在合適的位置，因此需要一個標記——查看——再標記的人機交互過程。雖然像素深度圖制作階段能夠生成精度較高的結果，但是該階段耗時較長，人機交互效率較低，用戶體驗較差，不能快速、及時的查看深度圖的效果并修改人工深度標記。這類深度圖制作流程存在以下缺陷：前景對象提取和深度賦值兩個階段都需要大量的人工操作，使得深度圖的制作周期較長，制作成本較高，從而限制了平面視頻轉立體視頻技術的推廣。

發明內容

本發明的目的旨在至少解決上述技術缺陷之一。

為此，本發明的第一個目的在于提出一種基于區域連通圖的立體視頻深度圖的制作方法，該方法可以有效降低深度圖制作的所需時間，減少深度圖制作成本。

本發明的第二個目的在于提出一種基于區域連通圖的立體視頻深度圖的制作裝置。

為達到上述目的，本發明第一方面的實施例提出了一種基于區域連通圖的立體視頻深度圖的制作方法，包括如下步驟：

向內存中輸入多幀圖像，提取所述多幀圖像的每一幀的圖像信息，所述圖像信息包括每幀圖像的每個像素點信息；

對所述每幀圖像的每個像素點信息進行聚類得到聚類后的像素點信息，根據所述聚類后的像素點信息生成每一幀圖像的區域連通圖；

向內存中輸入深度值標記信息，所述區域連通圖根據所述深度值標記信息生成區域深度圖；

判斷所述區域深度圖是否滿足第一預設條件后，當所述區域深度圖滿足所述第一預設條件時，根據所述區域深度圖獲取像素深度圖，否則繼續向所述內存中輸入深度值標記信息直至所述區域深度圖滿足所述第一預設條件。

根據本發明的一個實施例，在對所述每幀圖像的每個像素點信息進行聚類之前，還包括如下步驟：

對提取得到所述的每一幀的圖像信息進行圖像去噪。

根據本發明的一個實施例，對所述每幀圖像的每個像素點信息進行聚類，包括如下步驟：

設置初始種子點，將所述每幀圖像劃分成多個相同的矩形區域；

計算所述每個矩形區域內像素點的五維空間坐標的平均值，并根據每個矩形區域內像素點的五維空間坐標的平均值得到所述初始種子點的五維空間坐標值；

對所述每幀圖像的每個像素點，計算所述像素點與所述像素點對應的搜索范圍內的每個所述初始種子點的五維空間距離，并將所述像素點歸類至所述五維空間距離最小的初始種子點所屬的類別；

更新聚類后的每個初始種子點的信息，并統計每一類別所包括的像素點信息，根據每一類別中五維空間坐標的平均值作為新的種子點的五維空間坐標值；

計算所述每幀圖像中每個像素點距離所述新的種子點的最小五維空間距離之和，根據所述最小五維空間距離之和判斷是否滿足預設的聚類結束條件，當所述最小五維空間距離之和滿足所述預設的聚類結束條件時，結束對像素點進行聚類，得到所述聚類后的像素點信息。