[發明專利]基于超像素關系分析的深度重建方法和裝置

有效

• 申請號: 201910864317.2
• 申請日: 2019-09-12
• 公開（公告）號: CN112488915B
• 公開（公告）日: 2022-06-21
• 發明（設計）人: 季向陽;邸研
• 申請（專利權）人: 清華大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T7/11;G06T7/579
• 代理公司: 北京林達劉知識產權代理事務所(普通合伙) 11277
• 代理人: 劉新宇

本公開涉及一種基于超像素關系分析的深度重建方法和裝置，所述方法包括：確定圖像幀集合中相鄰圖像幀之間的特征點匹配結果M，以及目標圖像幀的超像素分割結果S；根據特征點匹配結果M和超像素分割結果S，確定每個超像素對應的單應矩陣H和相鄰超像素之間的運動關系R_e；根據相鄰超像素之間的運動關系R_e，確定相鄰超像素之間的空間關系R_s；根據相鄰超像素之間的空間關系R_s，確定每個超像素的平面參數θ；根據每個超像素對應的單應矩陣H和每個超像素的平面參數θ，對圖像幀集合對應的動態場景進行深度重建，從而有效實現對復雜運動場景的深度重建。

技術領域

本公開涉及圖像處理技術領域，尤其涉及一種基于超像素關系分析的深度重建方法和裝置。

背景技術

基于單目相機的深度重建方法一直是重要且極具挑戰性的一項研究內容，其在很多領域具有重要的應用，如自動駕駛，物體識別，動作識別等。但是，針對實際應用中許多復雜的運動場景，例如，剛性移動的交通工具，變形移動的行人等，傳統的運動結構恢復(StructuRe From Motion，SFM)方法在進行動態場景深度求解時，無法直接確定每個單元結構件的相對尺度，導致傳統的SFM方法無法對復雜的運動場景進行深度重建。

發明內容

有鑒于此，本公開提出了一種基于超像素關系分析的深度重建方法和裝置，有效實現對復雜運動場景的深度重建。

根據本公開的第一方面，提供了一種基于超像素關系分析的深度重建方法，包括：確定圖像幀集合中相鄰圖像幀之間的特征點匹配結果M，以及目標圖像幀的超像素分割結果S，其中，所述圖像幀集合中包括至少兩個圖像幀，所述目標圖像幀為所述圖像幀集合中的一幀，所述超像素分割結果S中包括多個超像素；根據所述特征點匹配結果M和所述超像素分割結果S，確定每個超像素對應的單應矩陣H和相鄰超像素之間的運動關系R_e；根據所述相鄰超像素之間的運動關系R_e，確定所述相鄰超像素之間的空間關系R_s；根據所述相鄰超像素之間的空間關系R_s，確定每個超像素的平面參數θ；根據所述每個超像素對應的單應矩陣H和所述每個超像素的平面參數θ，對所述圖像幀集合對應的動態場景進行深度重建。

在一種可能的實現方式中，所述根據所述特征點匹配結果M和所述超像素分割結果S，確定每個超像素對應的單應矩陣H和相鄰超像素之間的運動關系R_e，包括：針對任一超像素i，通過對第一能量函數E(H，R_e)進行優化，得到所述超像素i對應的單應矩陣H_i和所述超像素i與相鄰超像素j之間的運動關系R_e(i，j)；其中，所述第一能量函數E(H，R_e)中包括：與所述超像素對應的單應矩陣H_i相關的第一優化項E_data(H_i)，與所述超像素對應的單應矩陣H_i、所述超像素i與相鄰超像素之間的運動關系R_e(i，j)、所述相鄰像素j對應的單應矩陣H_j相關的第二優化項E_pair(H_i，H_j，R_e(i，j))，以及與所述超像素i與相鄰超像素之間的運動關系R_e(i，j)相關的常數項E_o(R_e(i，j))。

在一種可能的實現方式中，所述相鄰像素j對應的單應矩陣H_j為優化后的單應矩陣。

在一種可能的實現方式中，所述根據所述相鄰超像素之間的運動關系R_e，確定所述相鄰超像素之間的空間關系R_s，包括：將所述相鄰超像素之間的運動關系R_e的關系類型確定為所述相鄰超像素之間的空間關系R_s的關系類型，所述關系類型包括：Coplanar、Hinge和Crack。