[發(fā)明專利]一種基于卷積神經(jīng)網(wǎng)絡(luò)的時空一致性深度圖序列的生成方法

在審

• 申請?zhí)枺?/td>: 201611244732.0
• 申請日: 2016-12-29
• 公開（公告）號: CN106612427A
• 公開（公告）日: 2017-05-03
• 發(fā)明（設(shè)計）人: 王勛;趙緒然
• 申請（專利權(quán)）人: 浙江工商大學(xué)
• 主分類號: H04N13/00
• 分類號: H04N13/00;G06T7/20;G06T7/285
• 代理公司: 杭州求是專利事務(wù)所有限公司33200
• 代理人: 劉靜,邱啟旺

1.一種基于卷積神經(jīng)網(wǎng)絡(luò)的時空一致性深度圖序列的生成方法，其特征在于，包括下列步驟：

1)收集訓(xùn)練集；訓(xùn)練集的每一個訓(xùn)練樣本是一個包含m幀的連續(xù)RGB圖像序列，以及其對應(yīng)的深度圖序列；

2)對訓(xùn)練集中的每一個圖像序列進(jìn)行時空一致性超像素分割，并且構(gòu)建空間上的相似度矩陣S^(s)和時間上的相似度矩陣S^(t)；

3)構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)，該神經(jīng)網(wǎng)絡(luò)由包含參數(shù)W的單一超像素深度回歸網(wǎng)絡(luò)，以及包含參數(shù)α的時空一致性條件隨機(jī)場損失層構(gòu)成；

4)利用訓(xùn)練集中的RGB圖像序列和深度圖序列對步驟3)中構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得出網(wǎng)絡(luò)參數(shù)W和α；

5)對未知深度的RGB圖像序列，使用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)通過前向傳播恢復(fù)深度圖序列。

2.根據(jù)權(quán)利要求1所述的時空一致性深度圖序列的生成方法，其特征在于，所述的步驟2)具體為：

(2.1)對訓(xùn)練集中的每一個連續(xù)RGB圖像序列進(jìn)行時空一致性超像素分割；將輸入序列標(biāo)注為I＝[I₁,…,I_m],其中I_t是第t幀RGB圖像，共有m幀；時空一致性超像素分割將m幀分別分割為n₁,…,n_m個超像素，而且生成后一幀中每個超像素和前一幀中對應(yīng)相同物體的超像素的對應(yīng)關(guān)系；整個圖像序列包含個超像素；對于每一個超像素p，將其重心位置的真實深度值記為d_p,并定義n個超像素的真實深度向量d＝[d₁；…；d_n]；

(2.2)建立這n個超像素的空間一致性相似度矩陣S^(s)，方法是：S^(s)是一個n×n的矩陣，其中描述了第p個超像素和第q個超像素的幀內(nèi)相似度關(guān)系：

其中c_p和c_q分別是超像素p和q的顏色直方圖特征，γ是手動設(shè)定的一個參數(shù)，可設(shè)定為所有相鄰超像素對||c_p-c_q||²值的中位數(shù)；

(2.3)建立這n個超像素的時間一致性相似度矩陣S^(t)，方法是：S^(t)是一個n×n的矩陣，其中描述了第p個超像素和第q個超像素的幀間的相似度關(guān)系：

其中，相鄰幀超像素的對應(yīng)關(guān)系由步驟(2.1)中的時空一致性超像素分割得出。