[發(fā)明專利]一種視覺同步定位與建圖方法、裝置、設(shè)備及介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110187701.0
• 申請日: 2021-02-18
• 公開（公告）號: CN112907742A
• 公開（公告）日: 2021-06-04
• 發(fā)明（設(shè)計(jì)）人: 周震;袁濤
• 申請（專利權(quán)）人: 湖南國科微電子股份有限公司
• 主分類號: G06T17/05
• 分類號: G06T17/05;G06T19/20;G06T7/73
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 丁曼曼

1.一種視覺同步定位與建圖方法，其特征在于，包括：

通過RGBD相機(jī)獲取含有灰度圖像和深度圖像的圖像序列，并從所述灰度圖像中提取得到圖像特征點(diǎn)；

基于所述圖像序列的第一幀圖像，構(gòu)建3D特征點(diǎn)地圖；

逐幀比對所述圖像特征點(diǎn)與所述3D特征點(diǎn)地圖中特征點(diǎn)的特征參數(shù)，基于所述圖像特征點(diǎn)根據(jù)比對結(jié)果對所述3D特征點(diǎn)地圖進(jìn)行更新操作；其中，所述特征參數(shù)包括3D坐標(biāo)和特征描述子。

2.根據(jù)權(quán)利要求1所述的視覺同步定位與建圖方法，其特征在于，所述基于所述圖像序列的第一幀圖像，構(gòu)建3D特征點(diǎn)地圖，包括：

以圖像序列的第一幀圖像中的RGBD相機(jī)坐標(biāo)為坐標(biāo)原點(diǎn)，構(gòu)建全局地圖坐標(biāo)系；

根據(jù)所述第一幀圖像對應(yīng)的灰度圖像和深度圖像，得到所述第一幀圖像中特征點(diǎn)的3D坐標(biāo)；

基于所述特征點(diǎn)和對應(yīng)的3D坐標(biāo)，在所述全局地圖坐標(biāo)系上構(gòu)建3D特征點(diǎn)地圖。

3.根據(jù)權(quán)利要求2所述的視覺同步定位與建圖方法，其特征在于，所述逐幀比對所述圖像特征點(diǎn)與所述3D特征點(diǎn)地圖中特征點(diǎn)的特征參數(shù)，基于所述圖像特征點(diǎn)根據(jù)比對結(jié)果對所述3D特征點(diǎn)地圖進(jìn)行合并、添加和/或刪除操作，包括：

根據(jù)所述圖像特征點(diǎn)的特征參數(shù)、所述3D特征點(diǎn)地圖中特征點(diǎn)的特征參數(shù)、預(yù)設(shè)相似度閾值和距離閾值，對所述圖像特征點(diǎn)進(jìn)行合并或添加操作；

根據(jù)所述3D特征點(diǎn)地圖中特征點(diǎn)的深度值，以及當(dāng)前深度圖像中對應(yīng)像素點(diǎn)的深度值，從所述3D特征點(diǎn)地圖中確定出待刪除特征點(diǎn)并刪除。

4.根據(jù)權(quán)利要求3所述的視覺同步定位與建圖方法，其特征在于，所述逐幀比對所述圖像特征點(diǎn)與所述3D特征點(diǎn)地圖中特征點(diǎn)的特征參數(shù)之前，還包括：

基于所述圖像序列的第一幀圖像中含有的圖像特征點(diǎn)，利用詞袋模型創(chuàng)建特征詞袋字典；

利用EPnP算法計(jì)算相鄰兩幀圖像幀之間的相對旋轉(zhuǎn)和相對位移，以得到每幀圖像幀相對于所述全局地圖坐標(biāo)系的相機(jī)位姿；

根據(jù)圖像特征點(diǎn)在對應(yīng)的灰度圖像幀和深度圖像幀中的坐標(biāo)，得到所述圖像特征點(diǎn)的原始3D坐標(biāo)；

根據(jù)所述圖像特征點(diǎn)對應(yīng)的相機(jī)位姿，將所述圖像特征點(diǎn)的原始3D坐標(biāo)轉(zhuǎn)換為所述全局地圖坐標(biāo)系下的3D坐標(biāo)。

5.根據(jù)權(quán)利要求4所述的視覺同步定位與建圖方法，其特征在于，所述根據(jù)所述圖像特征點(diǎn)的特征參數(shù)、所述3D特征點(diǎn)地圖中特征點(diǎn)的特征參數(shù)、預(yù)設(shè)相似度閾值和距離閾值，對所述圖像特征點(diǎn)進(jìn)行合并或添加操作，包括：

將所述圖像特征點(diǎn)的特征描述子與特征詞袋字典中的特征描述子進(jìn)行相似度對比，篩選出相似度大于預(yù)設(shè)相似度閾值的特征點(diǎn)對；

根據(jù)所述特征點(diǎn)對分別在所述全局地圖坐標(biāo)系下的3D坐標(biāo)，計(jì)算所述特征點(diǎn)對之間的距離值；

若所述距離值小于或等于預(yù)設(shè)距離閾值，則將所述特征點(diǎn)對合并；

若所述距離值大于預(yù)設(shè)距離閾值，則將所述圖像特征點(diǎn)直接添加至所述3D特征點(diǎn)地圖。

6.根據(jù)權(quán)利要求4所述的視覺同步定位與建圖方法，其特征在于，所述根據(jù)所述3D特征點(diǎn)地圖中特征點(diǎn)的深度值，以及當(dāng)前深度圖像中對應(yīng)像素點(diǎn)的深度值，從所述3D特征點(diǎn)地圖中確定出待刪除特征點(diǎn)并刪除，包括：

將所述3D特征點(diǎn)地圖中，所有特征點(diǎn)的深度值與當(dāng)前深度圖像中對應(yīng)像素點(diǎn)的深度值進(jìn)行比較，并將深度值小于像素點(diǎn)深度值的特征點(diǎn)從所述3D特征點(diǎn)地圖中刪除；

計(jì)算刪除后所述3D特征點(diǎn)地圖中，所有特征點(diǎn)的深度值與當(dāng)前深度圖像中對應(yīng)像素點(diǎn)的深度值的差值，并將所述差值大于預(yù)設(shè)差值閾值的特征點(diǎn)從所述3D特征點(diǎn)地圖中刪除；

計(jì)算剩余特征點(diǎn)與相機(jī)光心的連線和特征點(diǎn)朝向向量之間的夾角，并將所述夾角大于預(yù)設(shè)角度閾值的特征點(diǎn)從所述3D特征點(diǎn)地圖中刪除。

7.根據(jù)權(quán)利要求1至6任一項(xiàng)所述的視覺同步定位與建圖方法，其特征在于，所述基于所述圖像特征點(diǎn)根據(jù)比對結(jié)果對所述3D特征點(diǎn)地圖進(jìn)行合并、添加和/或刪除操作之后，還包括：

利用光束平差法，對所述3D特征點(diǎn)地圖中的特征點(diǎn)坐標(biāo)和對應(yīng)的相機(jī)位姿進(jìn)行優(yōu)化處理。