[發明專利]一種二維視頻到三維視頻的自動轉換方法

無效

• 申請號: 201110140389.6
• 申請日: 2011-05-27
• 公開（公告）號: CN102223553A
• 公開（公告）日: 2011-10-19
• 發明（設計）人: 劉琚;王地長生;孫建德;任艷楠;元輝
• 申請（專利權）人: 山東大學
• 主分類號: H04N13/00
• 分類號: H04N13/00;G06K9/62;G06T7/00;G06T7/20
• 代理公司: 濟南金迪知識產權代理有限公司 37219
• 代理人: 寧欽亮

技術領域

本發明涉及用于二維視頻到三維視頻的自動轉換技術，屬于視頻、多媒體信號處理技術領域。

背景技術

三維視頻可以使用戶享受到真實的三維感覺，近年來成為研究熱點。但是在現階段的應用中，三維視頻片源短缺，現在主要的三維片源僅僅是三維電影，且三維片源的制作周期長、花費大，這限制了三維電視產業的發展。考慮到現存的大量的二維視頻資源，將二維視頻轉換為三維視頻一方面能夠彌補三維片源的短缺，另一方面也使人們能夠以三維的形式重溫以前的經典的二維視頻，因此將二維視頻轉換為三維視頻對三維電視產業的發展有重要的意義。

現有的二維視頻轉三維視頻方法廣泛采用了基于圖像-深度的渲染技術，這種技術根據原始的單視場圖像以及相應的圖像深度信息，能夠渲染出虛擬視點的圖像。基于深度-圖像渲染技術的關鍵問題是深度信息的恢復和虛擬的右視圖的合成。對于不同的場景，根據場景中的深度線索，有不同的深度恢復算法。其中，帶運動物體的靜止場景因為其普遍性而成為一個重點研究的場景。為了恢復這種場景的深度信息，獲得靜止背景的深度層次，精確分割出前景以及前景物體的深度分配是三個關鍵的問題。雖然現在已有針對這種場景的深度恢復算法，但是這些算法沒有完全解決上述的三個問題，使恢復的深度信息不能完全反映場景的層次結構。因此，研究帶運動物體的靜止場景的深度恢復有重要的意義。同時，右視圖的合成的技術集中在補洞算法上，補洞算法是處理由于遮擋、錯誤投影等原因引起的鬼影，補洞算法的好壞直接影響觀眾的3D(三維)感受，因此快速、實用的補洞算法對新視點視頻的合成至關重要。

現有的算法主要采用視頻中的色差分量作為深度圖灰度值，即對于YUV格式的視頻，將U分量直接作為深度圖的灰度值(YUV是被歐洲電視系統所采用的一種顏色編碼方法(屬于PAL)，是PAL和SECAM模擬彩色電視制式采用的顏色空間。在現代彩色電視系統中，通常采用三管彩色攝影機或彩色CCD攝影機進行取像，然后把取得的彩色圖像信號經分色、分別放大校正后得到RGB，再經過矩陣變換電路得到亮度信號Y和兩個色差信號R-Y(即U)、B-Y(即V)，最后發送端將亮度和色差三個信號分別進行編碼，用同一信道發送出去。這種色彩的表示方法就是所謂的YUV色彩空間表示。采用YUV色彩空間的重要性是它的亮度信號Y和色度信號U、V是分離的)。該算法雖然簡單，但是估計的深度值并不夠準確，合成的右視圖的質量也不高。

除了上述算法外，也有采用人工摳取圖像目標，然后對圖像中的各個目標進行深度的分配，進而得到3D效果，這種算法雖然深度分配準確，但是人工參與使得算法難以實現自動化。

發明內容

本發明針對現有二維視頻到三維視頻轉換算法的存在的缺點，提供一種能自動的將2D(二維)視頻轉換為3D(三維)視頻，無需人工參與，而且生成的右視圖質量較高的二維視頻到三維視頻的自動轉換方法。

本發明的二維視頻到三維視頻的自動轉換方法，是：

針對帶運動物體的靜止場景，首先對背景進行高斯建模，重建出靜止的背景和分割出前景的大致區域，該大致區域包含了前景的所有輪廓，但是不精確，針對背景圖像，利用單目幾何信息和分類學習算法對每個像素進行幾何分類，根據分類結果得到深度圖；針對前景區域，采用均值移位(meanshift)算法對圖像進行分割，然后對圖像進行邊緣檢測、邊緣連接和端點消除得到精確的前景區域，與背景深度圖融合之后得到每一幀的深度圖；右視圖的合成算法采用先重建右視圖中的背景，然后用該右視背景來進行補洞；具體步驟如下：

(1)背景深度估計：采用高斯背景建模恢復背景，重建出靜止的背景和分割出前景的大致區域，該大致區域包含了前景的所有輪廓，但是不精確，然后采用單目深度線索和學習訓練算法對背景進行幾何分類，根據分類結果給背景分配深度，得到靜止背景的深度圖；

(2)運動前景精確提取：對高斯背景建模得到的前景的大致區域進行均值移位(meanshift)分割、邊緣檢測和邊緣連接得到物體的精確輪廓；

(3)融合深度圖：根據運動物體在靜止場景中的位置和步驟(1)得到的靜止背景的深度圖給每個前景物體分配固定的深度值，并將前景和背景的深度融合為一幅完整的深度圖；

(4)右視圖的合成：采用簡單的補洞算法先對右眼背景進行重建，然后利用已重建的背景信息對前景遮擋出現的空洞進行補洞，得到最終的右視圖。

所述步驟(1)的具體實現步驟如下：

a.將背景像素灰度建模成多個(本發明中采用3個)混合高斯分布的隨機信號，然后根據整個視頻估計出背景模型；