[發(fā)明專利]一種基于卷積神經(jīng)網(wǎng)絡(luò)的時(shí)空一致性深度圖序列的生成方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201611244732.0
• 申請(qǐng)日: 2016-12-29
• 公開（公告）號(hào): CN106612427A
• 公開（公告）日: 2017-05-03
• 發(fā)明（設(shè)計(jì)）人: 王勛;趙緒然
• 申請(qǐng)（專利權(quán)）人: 浙江工商大學(xué)
• 主分類號(hào): H04N13/00
• 分類號(hào): H04N13/00;G06T7/20;G06T7/285
• 代理公司: 杭州求是專利事務(wù)所有限公司33200
• 代理人: 劉靜,邱啟旺

本發(fā)明公開了一種基于卷積神經(jīng)網(wǎng)絡(luò)的時(shí)空一致性深度圖序列的生成方法，可用于影視作品2D轉(zhuǎn)3D技術(shù)。該方法包括：1)收集訓(xùn)練集：訓(xùn)練集的每一個(gè)訓(xùn)練樣本是一個(gè)連續(xù)RGB圖像序列以及其對(duì)應(yīng)的深度圖序列；2)對(duì)訓(xùn)練集中的每一個(gè)圖像序列進(jìn)行時(shí)空一致性超像素分割，并且構(gòu)建空間相似度矩陣和時(shí)間相似度矩陣；3)構(gòu)建由單一超像素深度回歸網(wǎng)絡(luò)以及時(shí)空一致性條件隨機(jī)場損失層構(gòu)成的卷積神經(jīng)網(wǎng)絡(luò)；4)對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練；5)對(duì)未知深度的RGB圖像序列，使用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)通過前向傳播恢復(fù)深度圖序列。本發(fā)明避免了基于線索的深度恢復(fù)方法對(duì)場景假設(shè)依賴過強(qiáng)，以及現(xiàn)有基于卷積神經(jīng)網(wǎng)絡(luò)的深度恢復(fù)方法生成的深度圖幀間不連續(xù)的問題。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺立體視頻領(lǐng)域，具體涉及一種基于卷積神經(jīng)網(wǎng)絡(luò)的時(shí)空一致性深度圖序列的生成方法。

背景技術(shù)

立體視頻的基本原理是將兩幅具有水平視差的影像疊加播放，觀眾通過立體眼鏡分別看到左右眼的畫面，從而產(chǎn)生立體感知。立體視頻能給人提供身臨其境的三維立體觀感，深受消費(fèi)者歡迎。然而隨著3D影視硬件的普及度不斷上升，3D影視內(nèi)容的短缺隨之而來。直接由3D攝像機(jī)拍攝成本高，后期制作難度大，通常只能在大成本電影中使用。因此影視作品的2D/3D轉(zhuǎn)換技術(shù)是解決片源緊缺難題的一種有效的途徑，不僅能大大拓展立體影片的題材和數(shù)量，還能讓一些經(jīng)典的影視作品重返熒屏。

由于立體視頻中的左右視差直接與每個(gè)像素對(duì)應(yīng)的深度相關(guān)，因此獲取視頻各幀對(duì)應(yīng)的深度圖是2D/3D轉(zhuǎn)換技術(shù)的關(guān)鍵所在。深度圖可以由人工對(duì)視頻的每一幀摳圖并賦予深度值產(chǎn)生，但是成本非常昂貴。同時(shí)，也存在一些的半自動(dòng)的深度圖生成方法，即先由人工繪制視頻中一些關(guān)鍵幀的深度圖，計(jì)算機(jī)通過傳播算法將這些深度圖擴(kuò)展到其他相鄰的幀。這些方法雖然能節(jié)省了一部分時(shí)間，但在大批量處理影視作品2D到3D轉(zhuǎn)換時(shí)，仍然需要比較繁重的人工操作。

相比而言，全自動(dòng)的深度恢復(fù)方法可以最大程度的節(jié)省人工成本。一些算法可以通過運(yùn)動(dòng)，聚焦、遮擋或陰影等深度線索，使用特定的規(guī)則恢復(fù)出深度圖，但是通常只對(duì)特定場景有效。例如，基于運(yùn)動(dòng)推斷結(jié)構(gòu)的方法可以根據(jù)相鄰幀間遠(yuǎn)處物體相對(duì)位移小、近處物體相對(duì)位移大的線索恢復(fù)移動(dòng)攝像機(jī)拍攝的靜態(tài)場景的深度，但是該類方法在拍攝對(duì)象移動(dòng)或攝像機(jī)靜止的情況下無效；基于聚焦的深度恢復(fù)方法可以恢復(fù)淺景深圖像的深度，但在大景深的情況下效果很差。影視作品中通常包含各種場景，因此基于深度線索的深度恢復(fù)方法很難普遍應(yīng)用。

卷積神經(jīng)網(wǎng)絡(luò)是一種特別適用于圖像的深度神經(jīng)網(wǎng)絡(luò)，它由卷積層，激活層，池化層和損耗層等基本單元堆疊構(gòu)成，可以模擬圖像輸入x到特定輸出y的復(fù)雜函數(shù)，在解決圖像分類，圖像分割等各類機(jī)器視覺問題中占據(jù)了主導(dǎo)性地位。近一兩年來，一些方法將卷積神經(jīng)網(wǎng)絡(luò)用于深度恢復(fù)，使用大量的數(shù)據(jù)學(xué)習(xí)得出從RGB圖像輸入到深度圖輸出的映射關(guān)系。基于卷積神經(jīng)網(wǎng)絡(luò)的深度恢復(fù)不依賴于各種假設(shè)，具有很好的普適性，而且恢復(fù)精度很高，因此在影視作品的2D-3D轉(zhuǎn)換中有很大的應(yīng)用潛力。然而，現(xiàn)存的方法在訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)時(shí)都是基于單幅圖像優(yōu)化的，而忽略了幀間的連續(xù)性關(guān)系。如果運(yùn)用于恢復(fù)圖像序列的深度，相鄰各幀恢復(fù)出的深度圖會(huì)發(fā)生明顯的跳變。而相鄰幀的深度圖跳變會(huì)造成合成的虛擬視圖的閃爍，嚴(yán)重影響用戶觀感。此外，幀間的連續(xù)性也對(duì)深度恢復(fù)提供了重要線索，而在現(xiàn)存的方法里，這些信息被簡單的忽略掉了。

發(fā)明內(nèi)容

本發(fā)明的目的在于針對(duì)現(xiàn)有技術(shù)的不足，提供一種基于卷積神經(jīng)網(wǎng)絡(luò)的時(shí)空一致性深度圖序列的生成方法，將RGB圖像和深度圖在時(shí)域上的連續(xù)性引入卷積神經(jīng)網(wǎng)絡(luò)中，在訓(xùn)練時(shí)將多幀圖像聯(lián)合優(yōu)化，以生成在時(shí)域上連續(xù)的深度圖，并且改善深度恢復(fù)的精確度。

本發(fā)明的目的是通過以下技術(shù)方案來實(shí)現(xiàn)的：一種基于卷積神經(jīng)網(wǎng)絡(luò)的時(shí)空一致性深度圖序列的生成方法，包括如下步驟：

1)收集訓(xùn)練集。訓(xùn)練集的每一個(gè)訓(xùn)練樣本是一個(gè)包含m幀的連續(xù)RGB圖像序列，以及其對(duì)應(yīng)的深度圖序列；