[發(fā)明專利]利用多分辨率過程生成魯棒深度圖的系統(tǒng)和方法

有效

• 申請?zhí)枺?/td>: 201210480343.3
• 申請日: 2012-11-22
• 公開（公告）號: CN103139469A
• 公開（公告）日: 2013-06-05
• 發(fā)明（設(shè)計）人: 咖茲·阿力;李平山;松井啟;水倉貴美
• 申請（專利權(quán)）人: 索尼公司
• 主分類號: H04N5/232
• 分類號: H04N5/232;G06T7/00
• 代理公司: 北京東方億思知識產(chǎn)權(quán)代理有限責(zé)任公司 11258
• 代理人: 李曉冬

1.一種用于生成魯棒深度圖的系統(tǒng)，所述系統(tǒng)包括：

深度圖結(jié)構(gòu)，其包括各自具有不同分辨率特性的多個深度圖級別；以及

深度估計器，其評估來自所述深度圖級別的深度值來識別最優(yōu)深度值以用于填充最優(yōu)深度圖。

2.如權(quán)利要求1所述的系統(tǒng)，其中所述深度圖級別包括：細(xì)尺度深度圖、中尺度深度圖以及粗尺度深度圖。

3.如權(quán)利要求2所述的系統(tǒng)，其中所述深度估計器通過利用細(xì)尺度置信特征來評估來自所述細(xì)尺度深度圖的所述深度值，并且其中所述細(xì)尺度置信特征包括相機(jī)模型/鏡頭位置特征和實現(xiàn)方式特征，所述相機(jī)模型/鏡頭位置特征包括光學(xué)特性、鏡頭位置、變焦位置以及相機(jī)校準(zhǔn)參數(shù)，所述實現(xiàn)方式特征包括塊大小和匹配內(nèi)核類型。

4.如權(quán)利要求3所述的系統(tǒng)，其中所述深度估計器通過利用所述相機(jī)模型/鏡頭位置特征、所述實現(xiàn)方式特征以及粗尺度置信特征來評估來自所述中尺度深度圖和所述粗尺度深度圖的所述深度值，其中所述粗尺度置信特征包括統(tǒng)計特征和測量特征，所述測量特征包括運(yùn)動矢量測量和像素強(qiáng)度測量，所述統(tǒng)計特征包括優(yōu)化率統(tǒng)計以及絕對差值和收斂技術(shù)，其中所述絕對差值和收斂技術(shù)利用分類器曲線來表明所述深度值中的哪些是可靠的以及哪些是不可靠的，所述分類器曲線是基于觀察到的深度值數(shù)據(jù)的經(jīng)驗統(tǒng)計而生成的。

5.如權(quán)利要求2所述的系統(tǒng)，其中所述深度估計器通過向初始圖像數(shù)據(jù)應(yīng)用第一壓縮比來生成所述細(xì)尺度深度圖。

6.如權(quán)利要求5所述的系統(tǒng)，其中所述第一壓縮比是1/4，所述細(xì)尺度深度圖具有4×4個塊的配置。

7.如權(quán)利要求5所述的系統(tǒng)，其中所述深度估計器利用選定的細(xì)尺度置信特征來評估所述細(xì)尺度深度圖，并且其中所述深度估計器將來自所述細(xì)尺度深度圖的深度值分類為低置信深度值、中置信深度值和高置信深度值之一。

8.如權(quán)利要求7所述的系統(tǒng)，其中所述深度估計器通過向所述初始圖像數(shù)據(jù)應(yīng)用第二壓縮比來生成所述中尺度深度圖，所述深度估計器還通過向所述初始圖像數(shù)據(jù)應(yīng)用第三壓縮比來生成所述粗尺度深度圖。

9.如權(quán)利要求8所述的系統(tǒng)，其中所述第二壓縮比是1/8，所述中尺度深度圖具有2×2個塊的配置，所述第三壓縮比是1/16，所述粗尺度深度圖具有單個塊的配置。

10.如權(quán)利要求8所述的系統(tǒng)，其中所述深度估計器利用選定的粗尺度置信特征來評估所述中尺度深度圖和所述粗尺度深度圖，以確定任何可靠深度值候選。

11.如權(quán)利要求10所述的系統(tǒng)，其中所述深度估計器執(zhí)行空間大小調(diào)整過程以使所述粗尺度深度圖和所述中尺度深度圖的塊大小與所述細(xì)尺度深度圖相匹配，執(zhí)行幅值縮放過程以使所述粗尺度深度圖和所述中尺度深度圖的深度值范圍與所述細(xì)尺度深度圖相匹配，通過利用選擇技術(shù)和求平均技術(shù)之一來用所述可靠深度值候選執(zhí)行更新過程，并且執(zhí)行融合過程以從所述細(xì)尺度深度圖、所述中尺度深度圖以及所述粗尺度深度圖的所述最優(yōu)深度值來創(chuàng)建所述優(yōu)化深度圖。

12.如權(quán)利要求11所述的系統(tǒng)，其中所述深度估計器生成對應(yīng)于所述優(yōu)化深度圖的最終置信圖。

13.一種用于通過執(zhí)行以下步驟來生成魯棒深度圖的方法：

創(chuàng)建深度圖結(jié)構(gòu)，所述深度圖結(jié)構(gòu)包括各自具有不同分辨率特性的多個深度圖級別；以及

利用深度估計器來評估來自所述深度圖級別的深度值以識別用于填充最優(yōu)深度圖的最優(yōu)深度值。