[發明專利]基于語義和深度信息的定位方法、裝置、介質與設備

在審

• 申請號: 202011241694.X
• 申請日: 2020-11-09
• 公開（公告）號: CN112381828A
• 公開（公告）日: 2021-02-19
• 發明（設計）人: 樊歡歡;李姬俊男
• 申請（專利權）人: OPPO廣東移動通信有限公司
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06T7/50;G06T7/73;G06N3/04;G06N3/08
• 代理公司: 深圳市隆天聯鼎知識產權代理有限公司 44232
• 代理人: 劉抗美

1.一種基于語義和深度信息的定位方法，其特征在于，包括：

獲取針對目標場景所拍攝的待定位圖像與所述待定位圖像的深度信息；

確定所述待定位圖像對應的第一位姿；

利用所述第一位姿，從所述目標場景的地圖數據中獲取所述待定位圖像對應的投影圖像；

基于所述待定位圖像的語義信息與所述投影圖像的語義信息，所述待定位圖像的深度信息與所述投影圖像的深度信息，確定所述待定位圖像對應的第二位姿。

2.根據權利要求1所述的方法，其特征在于，所述確定所述待定位圖像對應的第一位姿，包括：

根據所述待定位圖像的語義信息和深度信息，匹配所述待定位圖像與所述地圖數據，確定所述第一位姿。

3.根據權利要求2所述的方法，其特征在于，所述根據所述待定位圖像的語義信息和深度信息，匹配所述待定位圖像與所述地圖數據，確定所述第一位姿，包括：

根據所述待定位圖像的語義信息和深度信息，生成所述待定位圖像的特征描述信息；

匹配所述待定位圖像的特征描述信息與所述地圖數據中局部地圖數據的特征描述信息，根據匹配結果確定所述第一位姿。

4.根據權利要求3所述的方法，其特征在于，所述根據所述待定位圖像的語義信息和深度信息，生成所述待定位圖像的特征描述信息，包括：

對所述待定位圖像進行語義分割，根據語義分割的結果提取所述待定位圖像的語義描述信息；

根據所述待定位圖像的深度信息，獲取所述待定位圖像的深度描述信息；

基于所述語義描述信息和所述深度描述信息，生成所述待定位圖像的特征描述信息。

5.根據權利要求4所述的方法，其特征在于，所述根據所述待定位圖像的深度信息，獲取所述待定位圖像的深度描述信息，包括：

根據所述待定位圖像的深度信息生成深度圖像；

從所述深度圖像中提取所述待定位圖像的深度描述信息。

6.根據權利要求4所述的方法，其特征在于，所述根據所述待定位圖像的語義信息和深度信息，生成所述待定位圖像的特征描述信息，還包括：

從所述待定位圖像中提取圖像描述信息；

所述基于所述語義描述信息和所述深度描述信息，生成所述待定位圖像的特征描述信息，包括：

合并所述圖像描述信息、所述語義描述信息和所述深度描述信息，得到所述待定位圖像的特征描述信息。

7.根據權利要求3所述的方法，其特征在于，在根據所述待定位圖像的語義信息和深度信息，生成所述待定位圖像的特征描述信息之前，所述方法還包括：

根據所述待定位圖像的語義信息，識別所述待定位圖像中的動態物體，并從所述待定位圖像中剔除所述動態物體。

8.根據權利要求7所述的方法，其特征在于，所述根據所述待定位圖像的語義信息，識別所述待定位圖像中的動態物體，并從所述待定位圖像中剔除所述動態物體，包括：

獲取所述待定位圖像中各子區域的語義標簽；

當所述子區域的語義標簽屬于預設標簽集時，確定所述子區域為動態物體，并從所述待定位圖像中剔除所述子區域。

9.根據權利要求1所述的方法，其特征在于，所述目標場景的地圖數據，通過以下方式建立：

獲取針對所述目標場景拍攝的多張基準圖像與所述基準圖像的深度信息；

對所述基準圖像與所述基準圖像的深度信息進行三維重建處理，得到所述目標場景的三維地圖；

根據所述基準圖像的語義信息，生成所述三維地圖的語義信息，并剔除所述三維地圖中的動態物體，得到所述目標場景的地圖數據。

10.根據權利要求9所述的方法，其特征在于，在對所述基準圖像與所述基準圖像的深度信息進行三維重建處理之前，所述方法還包括：

對所述基準圖像的深度信息進行補全處理。