[發(fā)明專(zhuān)利]利用多分辨率過(guò)程生成魯棒深度圖的系統(tǒng)和方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201210480343.3
• 申請(qǐng)日: 2012-11-22
• 公開(kāi)（公告）號(hào): CN103139469A
• 公開(kāi)（公告）日: 2013-06-05
• 發(fā)明（設(shè)計(jì)）人: 咖茲·阿力;李平山;松井啟;水倉(cāng)貴美
• 申請(qǐng)（專(zhuān)利權(quán)）人: 索尼公司
• 主分類(lèi)號(hào): H04N5/232
• 分類(lèi)號(hào): H04N5/232;G06T7/00
• 代理公司: 北京東方億思知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11258
• 代理人: 李曉冬

技術(shù)領(lǐng)域

本發(fā)明一般涉及用于分析圖像數(shù)據(jù)的技術(shù)，并且尤其涉及用于在深度估計(jì)過(guò)程中利用場(chǎng)景檢測(cè)的系統(tǒng)和方法。

背景技術(shù)

實(shí)現(xiàn)用于分析圖像數(shù)據(jù)的高效方法是當(dāng)代電子設(shè)備的設(shè)計(jì)者和制造商的重要考慮。然而，用電子設(shè)備來(lái)高效地分析圖像數(shù)據(jù)可能對(duì)系統(tǒng)設(shè)計(jì)者提出重大挑戰(zhàn)。例如，對(duì)提高的設(shè)備功能性和性能的增強(qiáng)的要求可能需要更多的系統(tǒng)處理能力并且需要另外的硬件資源。處理或硬件要求方面的提高也可能由于提高的生產(chǎn)成本和操作的低效性而導(dǎo)致相應(yīng)的不利經(jīng)濟(jì)影響。

另外，用于執(zhí)行各種先進(jìn)操作的增強(qiáng)的設(shè)備能力可能為系統(tǒng)使用者提供額外好處，但是也可能對(duì)各種設(shè)備組件的控制和管理提出提高的要求。例如，因?yàn)樗婕暗臄?shù)字?jǐn)?shù)據(jù)的大量性和復(fù)雜性，有效地分析數(shù)字圖像數(shù)據(jù)的增強(qiáng)的電子設(shè)備可以受益于有效的實(shí)現(xiàn)方式。

由于對(duì)系統(tǒng)資源的增長(zhǎng)的需求和大大提高的數(shù)據(jù)大小，顯而易見(jiàn)的是，開(kāi)發(fā)用于分析圖像數(shù)據(jù)的新技術(shù)是相關(guān)電子技術(shù)的關(guān)注事項(xiàng)。因此，由于所有前述原因，開(kāi)發(fā)用于分析圖像數(shù)據(jù)的有效系統(tǒng)仍然是當(dāng)代電子設(shè)備的設(shè)計(jì)者、制造商以及使用者的重要考慮。

發(fā)明內(nèi)容

根據(jù)本發(fā)明，公開(kāi)了一種用于利用多分辨率過(guò)程來(lái)生成魯棒深度圖（robust?depth?map）的系統(tǒng)和方法。在一個(gè)實(shí)施例中，深度估計(jì)器最初通過(guò)利用任何有效技術(shù)來(lái)生成第2級(jí)別深度圖（level?2?depth?map）。例如，可以用產(chǎn)生相對(duì)細(xì)尺度分辨率的壓縮比來(lái)實(shí)現(xiàn)第2級(jí)別深度圖。深度估計(jì)器通過(guò)利用任何有效技術(shù)來(lái)計(jì)算與來(lái)自第2級(jí)別深度圖的各個(gè)深度值相對(duì)應(yīng)的魯棒置信值。然后，深度估計(jì)器根據(jù)它們各自的置信值將深度值分類(lèi)成高置信深度值、中置信深度值以及低置信深度值。

深度估計(jì)器還通過(guò)利用任何有效技術(shù)來(lái)生成第1級(jí)別深度圖和第0級(jí)別深度圖。例如，可以用產(chǎn)生中尺度分辨率的壓縮比來(lái)實(shí)現(xiàn)第1級(jí)別深度圖，并且可以用產(chǎn)生相對(duì)粗尺度分辨率的壓縮比來(lái)實(shí)現(xiàn)第0級(jí)別深度圖。深度估計(jì)器通過(guò)利用任何有效技術(shù)來(lái)計(jì)算與來(lái)自第1級(jí)別深度圖和第0級(jí)別深度圖的各個(gè)深度值相對(duì)應(yīng)的魯棒置信值。然后，深度估計(jì)器利用計(jì)算出的置信值，根據(jù)預(yù)定的可靠性標(biāo)準(zhǔn)（reliability?criteria）來(lái)識(shí)別來(lái)自第0級(jí)別深度圖和第1級(jí)別深度圖的任何可靠深度值候選。

深度估計(jì)器接下來(lái)通過(guò)利用任何有效技術(shù)對(duì)來(lái)自第1級(jí)別深度圖和第0級(jí)別深度圖的塊執(zhí)行大小調(diào)整過(guò)程來(lái)匹配第2級(jí)別深度圖的塊大小。深度估計(jì)器還通過(guò)利用任何有效技術(shù)執(zhí)行幅值縮放過(guò)程來(lái)縮放來(lái)自第1級(jí)別深度圖和第0級(jí)別深度圖的深度值以匹配第2級(jí)別深度圖的深度值范圍。

然后，深度估計(jì)器確定是否已從第1級(jí)別深度圖或第0級(jí)別深度圖識(shí)別出任何另外的可靠深度值候選。深度估計(jì)器將任何不可靠的深度值標(biāo)記為異常值，這些異常值不適合用于填充最終的優(yōu)化深度圖。深度估計(jì)器還根據(jù)任何有效技術(shù)利用任何可靠深度值候選來(lái)更新用于最終優(yōu)化深度圖的最優(yōu)深度值。例如，可以選擇具有最優(yōu)置信測(cè)度的深度值，或者可以利用加權(quán)或未加權(quán)求平均法來(lái)組合幾個(gè)不同的可靠深度值。

深度估計(jì)器有利地融合來(lái)自不同級(jí)別深度圖的最優(yōu)深度值以生成最終優(yōu)化深度圖。最后，深度估計(jì)器可以基于與最終優(yōu)化深度圖的最優(yōu)深度值相對(duì)應(yīng)的置信值來(lái)創(chuàng)建置信圖。然后，該處理可以終止。因此，本發(fā)明提供了用于利用多分辨率過(guò)程來(lái)生成深度圖的改進(jìn)的系統(tǒng)和方法。

附圖說(shuō)明

圖1是根據(jù)本發(fā)明的相機(jī)設(shè)備的一個(gè)實(shí)施例的框圖；

圖2是根據(jù)本發(fā)明的圖1的捕獲子系統(tǒng)的一個(gè)實(shí)施例的框圖；

圖3是根據(jù)本發(fā)明的圖1的控制模塊的一個(gè)實(shí)施例的框圖；

圖4是根據(jù)本發(fā)明的圖3的存儲(chǔ)器的一個(gè)實(shí)施例的框圖；

圖5A是根據(jù)本發(fā)明的簡(jiǎn)化深度圖的一個(gè)實(shí)施例的圖；

圖5B是捕獲散焦模糊圖像的一個(gè)示例性實(shí)施例的圖；

圖5C是示例性匹配曲線的一個(gè)實(shí)施例的曲線圖；

圖6是根據(jù)本發(fā)明的一個(gè)實(shí)施例的多分辨率金字塔結(jié)構(gòu)的圖；

圖7A至圖7C是根據(jù)本發(fā)明的一個(gè)實(shí)施例的用于利用多分辨率過(guò)程來(lái)生成深度圖的方法步驟的流程圖；

圖8A是根據(jù)本發(fā)明的一個(gè)實(shí)施例的細(xì)尺度置信特征的圖；

圖8B是根據(jù)本發(fā)明的一個(gè)實(shí)施例的粗尺度置信特征的圖；

圖8C是示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的SAD收斂技術(shù)的曲線圖；并且

圖9是根據(jù)本發(fā)明的一個(gè)實(shí)施例的簡(jiǎn)化置信圖的圖。

具體實(shí)施方式