[發(fā)明專利]一種基于有監(jiān)督數(shù)據(jù)驅(qū)動(dòng)的單目視頻深度估計(jì)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201611092073.3
• 申請(qǐng)日: 2016-12-01
• 公開（公告）號(hào): CN106599805B
• 公開（公告）日: 2019-05-21
• 發(fā)明（設(shè)計(jì)）人: 曹治國;李睿博;肖陽;鮮可;李然;張潤澤;趙富榮;張驍?shù)?/a>
• 申請(qǐng)（專利權(quán)）人: 華中科技大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62
• 代理公司: 武漢東喻專利代理事務(wù)所(普通合伙) 42224
• 代理人: 方可

本發(fā)明公開了一種基于有監(jiān)督數(shù)據(jù)驅(qū)動(dòng)的單目視頻深度估計(jì)方法，包括以下步驟：(1)獲取樣本視頻序列以及相應(yīng)的深度序列，作為訓(xùn)練數(shù)據(jù)集合；(2)使用基于跟蹤的超像素分割方法對(duì)訓(xùn)練數(shù)據(jù)集合進(jìn)行分割，提取各個(gè)分割單元的特征；(3)構(gòu)建結(jié)合卷積神經(jīng)網(wǎng)絡(luò)與時(shí)空條件隨機(jī)場(chǎng)的網(wǎng)絡(luò)模型；(4)使用訓(xùn)練數(shù)據(jù)集合以及分割結(jié)果與相應(yīng)特征，對(duì)深度時(shí)空卷積神經(jīng)網(wǎng)絡(luò)場(chǎng)模型進(jìn)行訓(xùn)練；(5)對(duì)待估計(jì)的視頻序列進(jìn)行分割，提取各個(gè)分割單元的特征；(6)將待估計(jì)的視頻序列以及分割結(jié)果與相應(yīng)特征，輸入已經(jīng)訓(xùn)練好的模型中，得到深度序列。本發(fā)明兼顧時(shí)空一致性與層次關(guān)系準(zhǔn)確性，提高了單目立體視頻質(zhì)量。

技術(shù)領(lǐng)域

本發(fā)明屬于模式識(shí)別技術(shù)領(lǐng)域，具體涉及一種基于有監(jiān)督數(shù)據(jù)驅(qū)動(dòng)的單目視頻深度估計(jì)方法，用于從單目視頻中自動(dòng)地估計(jì)視頻序列的深度值。

背景技術(shù)

隨著科技的發(fā)展，3D電影、虛擬現(xiàn)實(shí)正在豐富著人們的生活。然而，無論是已經(jīng)風(fēng)靡全球的3D電影還是當(dāng)前方興未艾的虛擬現(xiàn)實(shí)都面臨一個(gè)嚴(yán)重的問題，那就是目前3D資源的匱乏。因此，通過單目視頻預(yù)測(cè)深度，再通過視點(diǎn)合成得到雙目立體視頻，成為了解決目前3D資源匱乏的主要方法。

在這一技術(shù)途徑中，單目視頻的深度估計(jì)作為其重要的組成部分得到了科研人員的廣泛關(guān)注。目前主要的單目深度預(yù)測(cè)方法如下：從運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)(SFM，structure fromMotion)的深度估計(jì)方法[Ozden K E,Schindler K,Gool L V.Multibody Structure-from-Motion in Practice[J].Pattern Analysis&Machine Intelligence IEEETransactions on,2010,32(6):1134-1141]、基于信息采集的深度估計(jì)法[Karsch K,LiuC,Kang S B.Depth extraction from video using non-parametric sampling[C]//European Conference on Computer Vision.Springer Berlin Heidelberg,2012:775-788]以及基于有監(jiān)督學(xué)習(xí)的深度估計(jì)方法[Liu F,Shen C,Lin G.Deep convolutionalneural fields for depth estimation from a single image[C]//Proceedings of theIEEE Conference on Computer Vision and Pattern Recognition.2015:5162-5170]。運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)(SFM)的深度估計(jì)方法對(duì)場(chǎng)景結(jié)構(gòu)的要求高，算法復(fù)雜度高，無法應(yīng)對(duì)非剛體運(yùn)動(dòng)與變化。基于信息采集的估計(jì)方法對(duì)于數(shù)據(jù)庫已知或相似的場(chǎng)景可以得到很好的結(jié)果，但是對(duì)于數(shù)據(jù)庫之外的場(chǎng)景缺乏推斷能力。基于有監(jiān)督學(xué)習(xí)的深度估計(jì)方法是機(jī)器學(xué)習(xí)方法的一種，通過對(duì)計(jì)算機(jī)進(jìn)行深度訓(xùn)練，使其熟悉場(chǎng)景特征與對(duì)應(yīng)深度值之間的關(guān)系，從而對(duì)其它輸入圖像進(jìn)行深度分配，取得了相當(dāng)準(zhǔn)確的結(jié)果。但是目前基于機(jī)器學(xué)習(xí)的深度估計(jì)方法主要針對(duì)單張圖片進(jìn)行預(yù)測(cè)，若直接用于單目視頻深度估計(jì)任務(wù)中，得到預(yù)測(cè)結(jié)果的時(shí)空一致性較差，無法滿足用戶的需求。

由上述內(nèi)容可見，在基于有監(jiān)督學(xué)習(xí)的深度估計(jì)方法中，預(yù)測(cè)結(jié)果的時(shí)空一致程度成為了制約深度序列質(zhì)量的關(guān)鍵。如果能夠兼顧深度序列的時(shí)空一致性與深度層次關(guān)系的準(zhǔn)確性就能夠極大地提升預(yù)測(cè)結(jié)果的質(zhì)量，提供更精彩的3D資源。

發(fā)明內(nèi)容

本發(fā)明提供一種基于有監(jiān)督數(shù)據(jù)驅(qū)動(dòng)的單目視頻深度估計(jì)方法，以視頻數(shù)據(jù)對(duì)網(wǎng)絡(luò)進(jìn)行有監(jiān)督訓(xùn)練，目的在于克服現(xiàn)有方法中存在的問題，得到兼顧時(shí)空一致性與層次關(guān)系準(zhǔn)確性的深度序列預(yù)測(cè)結(jié)果，以提高單目立體視頻的質(zhì)量。

為了實(shí)現(xiàn)上述目的，本發(fā)明提供一種基于有監(jiān)督數(shù)據(jù)驅(qū)動(dòng)的單目視頻深度估計(jì)方法，包括以下步驟：

(1)獲取樣本視頻序列以及相應(yīng)的深度序列，作為本發(fā)明的訓(xùn)練數(shù)據(jù)集合；