[發(fā)明專利]基于超像素關(guān)系分析的深度重建方法和裝置

有效

• 申請?zhí)枺?/td>: 201910864317.2
• 申請日: 2019-09-12
• 公開（公告）號: CN112488915B
• 公開（公告）日: 2022-06-21
• 發(fā)明（設(shè)計）人: 季向陽;邸研
• 申請（專利權(quán)）人: 清華大學(xué)
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T7/11;G06T7/579
• 代理公司: 北京林達劉知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11277
• 代理人: 劉新宇

1.一種基于超像素關(guān)系分析的深度重建方法，其特征在于，包括：

確定圖像幀集合中相鄰圖像幀之間的特征點匹配結(jié)果M，以及目標圖像幀的超像素分割結(jié)果S，其中，所述圖像幀集合中包括至少兩個圖像幀，所述目標圖像幀為所述圖像幀集合中的一幀，所述超像素分割結(jié)果S中包括多個超像素；

根據(jù)所述特征點匹配結(jié)果M和所述超像素分割結(jié)果S，確定每個超像素對應(yīng)的單應(yīng)矩陣H和相鄰超像素之間的運動關(guān)系R_e；

根據(jù)所述相鄰超像素之間的運動關(guān)系R_e，確定所述相鄰超像素之間的空間關(guān)系R_s；

根據(jù)所述相鄰超像素之間的空間關(guān)系R_s，確定每個超像素的平面參數(shù)θ；

根據(jù)所述每個超像素對應(yīng)的單應(yīng)矩陣H和所述每個超像素的平面參數(shù)θ，對所述圖像幀集合對應(yīng)的動態(tài)場景進行深度重建；

所述根據(jù)所述特征點匹配結(jié)果M和所述超像素分割結(jié)果S，確定每個超像素對應(yīng)的單應(yīng)矩陣H和相鄰超像素之間的運動關(guān)系R_e，包括：

針對任一超像素i，通過對第一能量函數(shù)E(H，R_e)進行優(yōu)化，得到所述超像素i對應(yīng)的單應(yīng)矩陣H_i和所述超像素i與相鄰超像素j之間的運動關(guān)系R_e(i，j)；

其中，所述第一能量函數(shù)E(H，R_e)中包括：與所述超像素i對應(yīng)的單應(yīng)矩陣H_i相關(guān)的第一優(yōu)化項E_data(H_i)，與所述超像素i對應(yīng)的單應(yīng)矩陣H_i、所述超像素i與相鄰超像素j之間的運動關(guān)系R_e(i，j)、所述相鄰超像素j對應(yīng)的單應(yīng)矩陣H_j相關(guān)的第二優(yōu)化項E_pair(H_i，H_j，R_e(i，j))，以及與所述超像素i與相鄰超像素j之間的運動關(guān)系R_e(i，j)相關(guān)的常數(shù)項E_o(R_e(i，j))。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述相鄰超像素j對應(yīng)的單應(yīng)矩陣H_j為優(yōu)化后的單應(yīng)矩陣。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述相鄰超像素之間的運動關(guān)系R_e，確定所述相鄰超像素之間的空間關(guān)系R_s，包括：

將所述相鄰超像素之間的運動關(guān)系R_e的關(guān)系類型確定為所述相鄰超像素之間的空間關(guān)系R_s的關(guān)系類型，所述關(guān)系類型包括：Coplanar、Hinge和Crack。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述相鄰超像素之間的空間關(guān)系R_s，確定每個超像素的平面參數(shù)θ，包括：

基于預(yù)設(shè)算法，在所述多個超像素中確定基準超像素集合S_t，其中，所述基準超像素集合S_t對應(yīng)所述目標圖像幀中的背景部分；

將所述基準超像素集合S_t中每個基準超像素的尺度因子s確定為1；

根據(jù)所述基準超像素集合S_t以及所述相鄰超像素之間的空間關(guān)系R_s，確定每個超像素的平面參數(shù)θ。