[發明專利]一種基于有監督數據驅動的單目視頻深度估計方法

有效

• 申請號: 201611092073.3
• 申請日: 2016-12-01
• 公開（公告）號: CN106599805B
• 公開（公告）日: 2019-05-21
• 發明（設計）人: 曹治國;李睿博;肖陽;鮮可;李然;張潤澤;趙富榮;張驍迪
• 申請（專利權）人: 華中科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 武漢東喻專利代理事務所(普通合伙) 42224
• 代理人: 方可

1.一種基于有監督數據驅動的單目視頻深度估計方法，其特征在于，包括以下步驟：

(1)獲取樣本視頻序列以及相應的深度序列，作為訓練數據集合；

(2)使用基于跟蹤的超像素分割方法對訓練數據集合進行分割，提取各個分割單元的z類圖像特征；

(3)構建結合卷積神經網絡與時空條件隨機場的網絡模型；

(4)使用步驟(1)中的訓練數據集合以及步驟(2)中得到的分割結果與相應特征，對步驟(3)中的深度時空卷積神經網絡場模型進行訓練，得到訓練后的網絡模型；

(5)對待估計的視頻序列進行分割，提取各個分割單元的特征；

(6)將待估計的視頻序列以及步驟(5)的分割結果與相應特征，輸入步驟(4)已經訓練好的模型中，得到深度序列。

2.根據權利要求1所述的基于有監督數據驅動的單目視頻深度估計方法，其特征在于，所述網絡模型包括：

特征提取單元，用于對視頻序列進行卷積，對卷積響應進行稀疏化和非線性化處理，最后選取最大值作為圖像特征；

特征投影單元，用于將圖像特征投影到超像素上得到超像素特征；

深度回歸單元，用于對超像素特征進行回歸得到超像素深度值；

結構化輸出單元，用于構建深度概率模型：

其中，X表示視頻序列，Y表示深度序列；E表示能量函數；Z()表示歸一化因子，定義如下：

Z(X)＝∫_yexp{-E(Y,X)}dy

符號解釋如下：

p表示某個超像素，N表示序列中所有超像素的集合，(p,q)表示超像素對，Π表示存在時空連接的超像素對組成的集合，z表示圖像特征的類別數量；

z_p(θ)表示超像素p通過以θ為參數的深度回歸單元的輸出結果，y_p表示超像素p最終的深度估計值；

R_pq表示超像素對(p,q)的相似程度，由空間相似程度與時間運動程度組成，β_k表示第k類特征的權重，β_Z+1表示時間運動程度的權重；表示步驟(2)中得到的z類圖像特征的第k類特征，由以上z類圖像特征共同組成空間相似程度T_pq表示步驟(2)中得到的超像素對的光流特征，也表示為超像素運動程度

3.根據權利要求2所述的基于有監督數據驅動的單目視頻深度估計方法，其特征在于，將卷積特征上采樣到原圖像尺寸，然后按照超像素分割的劃分結果將對應位置的圖像特征作為該位置超像素特征。

4.根據權利要求1所述的基于有監督數據驅動的單目視頻深度估計方法，其特征在于，所述特征包括顏色特征、紋理特征與運動特征。