[發(fā)明專利]一種用于三維立體視頻的深度圖片的上采樣方法

有效

• 申請?zhí)枺?/td>: 201210246405.4
• 申請日: 2012-07-16
• 公開（公告）號: CN102761764A
• 公開（公告）日: 2012-10-31
• 發(fā)明（設計）人: 孫立峰;李彥潔
• 申請（專利權）人: 清華大學
• 主分類號: H04N13/00
• 分類號: H04N13/00;H04N13/02
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 羅文群

技術領域

本發(fā)明涉及一種用于三維立體視頻的深度圖片的上采樣方法，屬于圖像處理技術領域。

背景技術

三維立體視頻已經在眾多應用中代替?zhèn)鹘y(tǒng)的二維彩色電視，因為它能夠給用戶帶來全新的觀看體驗：用戶可以獲得更真實的三維場景體驗和感受，可以自由地選擇觀看的視點并且隨時在不同視點間進行切換。同傳統(tǒng)二維視頻相比，三維立體視頻在視覺效果和用戶交互性上的巨大優(yōu)勢，使得三維立體視頻成為研究的熱點，得到迅速發(fā)展和普及。

目前一種常用的三維立體視頻顯示技術為“彩色視頻+深度視頻”技術：使用一路彩色視頻來表達紋理信息，并且使用一路與其對應的深度視頻來表達彩色視頻中每個像素點的縱向深度信息。深度視頻中的一幀是與彩色視頻中的對應幀“像素-像素”對應的，且每個像素的值在0～255范圍內的灰度視頻。

由于深度圖片與彩色圖片是“像素-像素”對應的，深度圖片需要具有和彩色圖片相同的分辨率，然而由于深度圖片的采集設備、合成算法等的限制，采集到的深度圖片通常具有較低的分辨率，例如目前得到廣泛研究的基于反射時間的深度相機就具有低分辨率的特性。因此，深度圖片的上采樣是三維立體技術中非常重要的一項技術。深度圖片的作用是給出每個像素點的深度信息，因此深度圖片具有會對三維視覺效果造成影響的兩個要求：1）深度圖片中的物體要求有清晰地邊緣；2）一個物體內部，局部具有相同的深度值。在深度圖片上采樣的過程中，應該盡量保證上述兩點，這樣才能保證良好的三維效果。

作為一個傳統(tǒng)的問題，圖片上采樣已經具有幾十年的研究歷史。由于深度圖片可以看做普通的灰白圖片，已有的圖片上采樣方法可以直接適用于深度圖片上。但是傳統(tǒng)的圖片上采樣方法忽略了深度視頻和彩色視頻的對應關系，從而恢復邊緣的時候不能得到準確的邊緣值，且一定程度上破壞了深度圖局部一致的特性。最新的研究表明，利用高分辨率的彩色圖片對深度圖片的上采樣做指導，能夠很好地改善上采樣的質量。而目前已有的利用彩色圖片作指導的上采樣方法都不是基于學習的算法，因此上采樣的質量存在進一步改進的空間。基于學習的方法就是通過大量的已知數據學習一個從低分辨率深度圖片到高分辨率深度圖片的映射，基于學習的方法通常比普通的方法具有更好的上采樣質量。

機器學習的方法有很多種，其中基于圖片塊在一個很大的圖片塊庫中的稀疏表示的學習方法被證明對于多種圖片質量恢復問題都具有很好的效果，其中包括圖片的上次樣問題。這種方法的核心思想是：當擁有一個圖片塊庫時，一個新的圖片塊可以表示為這個圖片庫中的圖片塊的一個線性組合；當這個圖片塊庫足夠大的時候，這個線性表示中有大量的零元素（稀疏），即這個圖片塊能夠用圖片塊庫中的極少數的圖片塊線性加和表示。基于圖片的稀疏表示特性，本發(fā)明的基本思想為首先訓練三個對應的圖片塊庫：一個低分辨率圖片塊庫、一個彩色圖片庫和一個高分辨率圖片塊庫，三個圖片塊庫中的對應圖片塊為低分辨率圖片塊及其對應的彩色圖片塊和其標準的上采樣結果。然后，當輸入一個新的低分辨率圖片塊及其對應的彩色圖片塊的時候，聯(lián)合求解其在各自圖片塊庫上的最優(yōu)稀疏表示，并將此稀疏稀疏用于高分辨率圖片塊庫上就能得到新輸入的低分辨率圖片塊對應的高分辨率圖片塊，即其上采樣的結果。下面介紹本發(fā)明的具體內容。

發(fā)明內容

本發(fā)明的目的是提出一種用于三維立體視頻的深度圖片的上采樣方法，以應對多種原因產生的低分辨率深度圖片，由于其較高的恢復質量，特別適合于應對采集端采集到分辨率很低的深度圖片的情況。

本發(fā)明提出的用于三維立體視頻的深度圖片的上采樣方法，包括以下步驟：

（1）定義α為對三維立體視頻深度圖片的上采樣率，S_L為將低分辨率三維立體視頻的深度圖片分成像素塊的大小，S_H為將對低分辨率三維立體視頻的深度圖片進行上采樣后得到的高分辨率深度圖片分成像素塊的大小以及將采集的彩色圖片分成像素塊的大小，S_H＝S_L×α；

（2）分別提取低分辨率深度圖片像素塊、高分辨率深度圖片像素塊和采集的彩色圖片像素塊的特征值，提取過程如下：