[發明專利]從圖像進行三維位置預測

在審

• 申請號: 202111493822.4
• 申請日: 2021-12-08
• 公開（公告）號: CN114663503A
• 公開（公告）日: 2022-06-24
• 發明（設計）人: L.井;R.余;J.高;H.克雷茨施馬爾;K.李;R.齊;H.趙;A.埃瓦西;X.陳;D.考爾;C.李
• 申請（專利權）人: 偉摩有限責任公司
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/50;G06N3/08;G06N3/02;G01S17/89;G01S17/08
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 金玉潔

1.一種由一個或多個計算機執行的方法，所述方法包括：

獲得圖像的時間序列，所述時間序列包括在多個時間步長中的每一個處由相機在所述時間步長處捕獲的相應圖像；

對于時間序列中的每個圖像，生成圖像中已經被確定為描繪第一對象的區域的相應偽激光雷達表示的相應偽激光雷達特征；

對于時間序列中特定時間步長處的特定圖像，生成所述特定圖像中已被確定為描繪第一對象的區域的圖像塊特征；和

從所述相應偽激光雷達特征和圖像塊特征生成表征在時間序列中的特定時間步長處第一對象在三維坐標系中的位置的預測。

2.根據權利要求1所述的方法，其中所述預測包括更新的深度估計，所述更新的深度估計估計在所述時間序列中的特定時間步長處第一對象上的指定點的深度，其中所述更新的深度估計是在所述特定時間步長處從第一對象上的指定點到相機的預測距離。

3.根據權利要求1所述的方法，其中，所述預測指定三維區域，所述三維區域對應于在所述特定時間步長處所述第一對象相對于所述相機的預測位置。

4.根據權利要求1所述的方法，其中，從所述相應偽激光雷達特征和圖像塊特征生成表征在時間序列中的特定時間步長處第一對象的位置的預測包括：

組合所述相應偽激光雷達特征和圖像塊特征以生成組合的特征；和

使用解碼器神經網絡處理所述組合的特征以生成所述預測。

5.根據權利要求4所述的方法，其中組合所述相應偽激光雷達特征和圖像塊特征包括將相應偽激光雷達特征和圖像塊特征拼接。

6.根據權利要求1所述的方法，其中生成所述時間序列中的特定時間步長處的圖像中的區域的圖像塊特征包括：

使用圖像特征提取神經網絡處理所述圖像，以生成所述圖像的圖像特征；和

選擇所述圖像特征中的與所述區域內的最后圖像的塊相對應的子集作為圖像塊特征。

7.根據權利要求1所述的方法，還包括：

對于時間序列中的每個圖像，生成將相應的估計深度值分配給圖像中的每個像素的初始深度估計；和

使用圖像的初始深度估計，為時間序列中的每個圖像生成相應偽激光雷達表示。

8.根據權利要求7所述的方法，其中，對于時間序列中的每個圖像，生成將相應的估計深度值分配給圖像中的每個像素的初始深度估計包括：

使用深度估計神經網絡處理圖像，以生成圖像的初始深度估計。

9.根據權利要求8所述的方法，其中生成偽激光雷達表示包括：

基于圖像的初始深度估計中的像素的估計深度值和相機的屬性，將圖像中已經被確定為描繪第一對象的區域內的每個像素映射到三維坐標系。

10.根據權利要求9所述的方法，其中所述相機的屬性包括所述相機的水平和垂直焦距。

11.根據權利要求1所述的方法，其中生成每個偽激光雷達表示的相應偽激光雷達特征包括：

使用偽激光雷達特征提取神經網絡處理偽激光雷達表示，以生成偽激光雷達表示的偽激光雷達特征。