[發明專利]運動向量場的確定方法、裝置、設備、存儲介質和車輛

有效

• 申請號: 201811043746.5
• 申請日: 2018-09-07
• 公開（公告）號: CN109300143B
• 公開（公告）日: 2021-07-27
• 發明（設計）人: 謝遠帆;王亮
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種運動向量場的確定方法，其特征在于，包括：

依據圖像采集器采集的不同幀圖像，確定場景中空間點的光流；

依據雷達采集的空間點數據，確定場景中空間點在圖像采集器坐標系下的運動速度；

依據雷達采集的空間點數據，確定空間點在圖像平面上的投影的一階導數；

依據圖像采集器的內參、圖像采集器在全局坐標系下的旋轉矩陣、圖像采集器的運動速度、圖像采集器的角速度、場景中空間點位姿、空間點的光流、空間點在圖像采集器坐標系下的運動速度以及空間點在圖像平面上的投影的一階導數，確定場景中空間點的速度矢量；

其中，空間點的光流、空間點在圖像采集器坐標系下的運動速度以及空間點在圖像平面上的投影的一階導數，從不同的角度均表示了空間點在二維平面上的運動速度，依據三者的對等關系來求得空間點的速度矢量。

2.根據權利要求1所述的方法，其特征在于，所述依據雷達采集的空間點數據，確定場景中空間點在圖像采集器坐標系下的運動速度，包括：

依據不同時刻的毫米波雷達數據確定空間點在全局坐標系下的運動速度；

依據毫米波雷達與圖像采集器之間的相對位姿，將空間點在全局坐標系下的運動速度轉換為在圖像采集器坐標系下的運動速度。

3.根據權利要求1所述的方法，其特征在于，所述依據雷達采集的空間點數據，確定場景中空間點在圖像采集器坐標系下的運動速度，包括：

依據激光雷達與圖像采集器之間的相對位姿，將空間點的點云數據投影到圖像平面上得到深度圖；

依據不同時刻的深度圖求得空間點在圖像采集器坐標系下的運動速度。

4.根據權利要求1所述的方法，其特征在于，所述依據圖像采集器的內參、圖像采集器在全局坐標系下的旋轉矩陣、圖像采集器的運動速度、圖像采集器的角速度、場景中空間點位姿、空間點的光流、空間點在圖像采集器坐標系下的運動速度以及空間點在圖像平面上的投影的一階導數，確定場景中空間點的速度矢量，包括：

通過聯立如下公式，確定場景中空間點的速度矢量：

其中，K表示圖像采集器的內參、R表示圖像采集器在全局坐標系下的旋轉矩陣、表示圖像采集器的運動速度、表示圖像采集器的角速度、X表示場景中空間點位姿、表示空間點的光流、表示空間點在圖像采集器坐標系下的運動速度、J表示空間點在圖像平面上的投影的一階導數，以及[]_×表示反對稱矩陣運算，V_obj表示場景中空間點的速度矢量。

5.一種運動向量場的確定裝置，其特征在于，包括：

光流確定模塊，用于依據圖像采集器采集的不同幀圖像，確定場景中空間點的光流；

速度確定模塊，用于依據雷達采集的空間點數據，確定場景中空間點在圖像采集器坐標系下的運動速度；

導數確定模塊，用于依據雷達采集的空間點數據，確定空間點在圖像平面上的投影的一階導數；

速度矢量確定模塊，用于依據圖像采集器的內參、圖像采集器在全局坐標系下的旋轉矩陣、圖像采集器的運動速度、圖像采集器的角速度、場景中空間點位姿、空間點的光流、空間點在圖像采集器坐標系下的運動速度以及空間點在圖像平面上的投影的一階導數，確定場景中空間點的速度矢量；

其中，空間點的光流、空間點在圖像采集器坐標系下的運動速度以及空間點在圖像平面上的投影的一階導數，從不同的角度均表示了空間點在二維平面上的運動速度，依據三者的對等關系來求得空間點的速度矢量。

6.根據權利要求5所述的裝置，其特征在于，所述速度確定模塊，包括：

全局坐標系下速度確定單元，用于依據不同時刻的毫米波雷達數據確定空間點在全局坐標系下的運動速度；

圖像采集器坐標系下速度確定單元，用于依據毫米波雷達與圖像采集器之間的相對位姿，將空間點在全局坐標系下的運動速度轉換為在圖像采集器坐標系下的運動速度。