[發明專利]一種特征點的深度估計方法和裝置

在審

• 申請號: 201910642479.1
• 申請日: 2019-07-16
• 公開（公告）號: CN112241977A
• 公開（公告）日: 2021-01-19
• 發明（設計）人: 張鵬;康軼非;許騰
• 申請（專利權）人: 北京京東乾石科技有限公司
• 主分類號: G06T7/521
• 分類號: G06T7/521;G06T17/20
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 張效榮;王志遠

1.一種特征點的深度估計方法，其特征在于，包括：

通過激光傳感器采集激光點云，將所述激光點云映射到單目相機的歸一化平面，以得到所述激光點云中的激光點的歸一化坐標，其中，所述歸一化平面指的是深度值為預定義值的平面；

通過所述單目相機采集一幀或多幀圖像，從所述圖像中提取特征點，并將所述特征點的二維像素坐標映射到所述歸一化平面，以得到所述特征點的歸一化坐標；

根據所述激光點的歸一化坐標和所述特征點的歸一化坐標，確定在所述歸一化平面中是否存在距離所述特征點小于或等于閾值距離的至少三個激光點；

若存在，則確定所述特征點在真實世界坐標系下與所述至少三個激光點共面，根據所述至少三個激光點在真實世界坐標系下的三維坐標計算所述特征點對應于所述圖像的深度值；

若不存在，則通過三角化處理得到所述特征點對應于所述圖像的深度值。

2.根據權利要求1所述的特征點的深度估計方法，其特征在于，將所述激光點的歸一化坐標存儲至k-dimensional樹，通過查找所述k-dimensional樹確定在所述歸一化平面中是否存在距離所述特征點小于或等于閾值距離的至少三個激光點。

3.根據權利要求1所述的特征點的深度估計方法，其特征在于，所述將激光點云映射到所述歸一化平面的過程包括：從所述激光點云中提取邊緣點和平面點，將所述邊緣點和所述平面點通過所述激光傳感器和所述單目相機的位姿轉換矩陣映射到所述歸一化平面，得到所述激光點的歸一化坐標。

4.根據權利要求3所述的特征點的深度估計方法，其特征在于，所述將所述特征點的二維像素坐標映射到所述歸一化平面，以得到所述特征點的歸一化坐標的過程包括：根據所述單目相機的內參數矩陣，將所述特征點的二維像素坐標映射為所述特征點的歸一化坐標。

5.根據權利要求1所述的特征點的深度估計方法，其特征在于，根據所述至少三個激光點在真實世界坐標系下的三維坐標計算所述特征點對應于所述圖像的深度值的過程包括：根據所述特征點在真實世界坐標系下與所述至少三個激光點的共面關系，通過所述至少三個激光點中的三個激光點在真實世界坐標系下的三維坐標，計算得到所述特征點在真實世界坐標系下的三維坐標，再根據所述特征點在真實世界坐標系下的三維坐標計算所述特征點對應于所述圖像的深度值。

6.根據權利要求1所述的特征點的深度估計方法，其特征在于，所述三角化處理的過程包括：根據單目相機在所述特征點對應的兩幀圖像之間的位姿轉換矩陣，計算所述特征點對應于所述圖像的深度值。

7.根據權利要求1至6中任一項所述的特征點的深度估計方法，其特征在于，所述深度估計方法還包括：

根據所述特征點對應于所述一幀或多幀圖像的二維像素坐標和真實世界坐標系下的三維坐標，通過最小二乘優化算法，計算所述圖像的位姿轉換矩陣，其中，所述真實世界坐標系下的三維坐標與所述一幀或多幀圖像對應的深度值相關；

根據所述單目相機的內參數矩陣和所述圖像的位姿轉換矩陣，計算優化后的所述特征點對應于所述圖像的真實世界坐標系下的三維坐標；

根據所述特征點在真實世界坐標系下的三維坐標計算所述特征點對應于所述圖像的優化深度值。