[發(fā)明專利]一種視覺同步定位與建圖方法、裝置、設(shè)備及介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110187701.0
• 申請(qǐng)日: 2021-02-18
• 公開（公告）號(hào): CN112907742A
• 公開（公告）日: 2021-06-04
• 發(fā)明（設(shè)計(jì)）人: 周震;袁濤
• 申請(qǐng)（專利權(quán)）人: 湖南國科微電子股份有限公司
• 主分類號(hào): G06T17/05
• 分類號(hào): G06T17/05;G06T19/20;G06T7/73
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 丁曼曼

本申請(qǐng)公開了一種視覺同步定位與建圖方法、裝置、設(shè)備及介質(zhì)。該方法包括：通過RGBD相機(jī)獲取含有灰度圖像和深度圖像的圖像序列，并從所述灰度圖像中提取得到圖像特征點(diǎn)；基于所述圖像序列的第一幀圖像，構(gòu)建3D特征點(diǎn)地圖；逐幀比對(duì)所述圖像特征點(diǎn)與所述3D特征點(diǎn)地圖中特征點(diǎn)的特征參數(shù)，基于所述圖像特征點(diǎn)根據(jù)比對(duì)結(jié)果對(duì)所述3D特征點(diǎn)地圖進(jìn)行更新操作；其中，所述特征參數(shù)包括3D坐標(biāo)和特征描述子。通過獲取的每幀圖像中的圖像特征點(diǎn)對(duì)構(gòu)建的3D特征點(diǎn)地圖中特征點(diǎn)進(jìn)行更新，可以及時(shí)的向3D特征點(diǎn)地圖中添加新增特征點(diǎn)并刪除已過時(shí)的特征點(diǎn)，以構(gòu)建得到實(shí)時(shí)準(zhǔn)確的3D特征點(diǎn)地圖，從而保證3D特征點(diǎn)地圖與當(dāng)前實(shí)際環(huán)境同步，提高了場(chǎng)景定位的準(zhǔn)確性。

技術(shù)領(lǐng)域

本發(fā)明涉及機(jī)器視覺領(lǐng)域，特別涉及一種視覺同步定位與建圖方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)

視覺同步定位與建圖(Visual simultaneous localization and mapping，vSLAM)系統(tǒng)通過攝像頭對(duì)環(huán)境中的圖像信息進(jìn)行采集，利用不同時(shí)刻圖像像素或區(qū)域特征的相對(duì)變化，推測(cè)相機(jī)在環(huán)境中的運(yùn)動(dòng)情況，即計(jì)算圖像間的相對(duì)位姿。同時(shí)，通過獲得的一系列的圖像與相機(jī)位姿對(duì)，對(duì)整個(gè)環(huán)境進(jìn)行建模，即獲得一個(gè)全局一致的地圖。然而，現(xiàn)有的vSLAM系統(tǒng)通常假設(shè)地圖在生成與使用過程中不會(huì)明顯地變化，這限制了現(xiàn)有vSLAM的應(yīng)用范圍。例如，在商場(chǎng)一類的經(jīng)常變化的場(chǎng)景中，現(xiàn)有的vSLAM系統(tǒng)無法隨環(huán)境的變化對(duì)地圖進(jìn)行有效的更新，從而降低了vSLAM系統(tǒng)定位的有效性與準(zhǔn)確度。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的目的在于提供一種視覺同步定位與建圖方法、裝置、設(shè)備及介質(zhì)，能夠構(gòu)建得到準(zhǔn)確同步的地圖。其具體方案如下：

第一方面，本申請(qǐng)公開了一種視覺同步定位與建圖方法，包括：

通過RGBD相機(jī)獲取含有灰度圖像和深度圖像的圖像序列，并從所述灰度圖像中提取得到圖像特征點(diǎn)；

基于所述圖像序列的第一幀圖像，構(gòu)建3D特征點(diǎn)地圖；

逐幀比對(duì)所述圖像特征點(diǎn)與所述3D特征點(diǎn)地圖中特征點(diǎn)的特征參數(shù)，基于所述圖像特征點(diǎn)根據(jù)比對(duì)結(jié)果對(duì)所述3D特征點(diǎn)地圖進(jìn)行更新操作；其中，所述特征參數(shù)包括3D坐標(biāo)和特征描述子。

可選的，所述基于所述圖像序列的第一幀圖像，構(gòu)建3D特征點(diǎn)地圖，包括：

以圖像序列的第一幀圖像中的RGBD相機(jī)坐標(biāo)為坐標(biāo)原點(diǎn)，構(gòu)建全局地圖坐標(biāo)系；

根據(jù)所述第一幀圖像對(duì)應(yīng)的灰度圖像和深度圖像，得到所述第一幀圖像中特征點(diǎn)的3D坐標(biāo)；

基于所述特征點(diǎn)和對(duì)應(yīng)的3D坐標(biāo)，在所述全局地圖坐標(biāo)系上構(gòu)建3D特征點(diǎn)地圖。

可選的，所述逐幀比對(duì)所述圖像特征點(diǎn)與所述3D特征點(diǎn)地圖中特征點(diǎn)的特征參數(shù)，基于所述圖像特征點(diǎn)根據(jù)比對(duì)結(jié)果對(duì)所述3D特征點(diǎn)地圖進(jìn)行合并、添加和/或刪除操作，包括：

根據(jù)所述圖像特征點(diǎn)的特征參數(shù)、所述3D特征點(diǎn)地圖中特征點(diǎn)的特征參數(shù)、預(yù)設(shè)相似度閾值和距離閾值，對(duì)所述圖像特征點(diǎn)進(jìn)行合并或添加操作；

根據(jù)所述3D特征點(diǎn)地圖中特征點(diǎn)的深度值，以及當(dāng)前深度圖像中對(duì)應(yīng)像素點(diǎn)的深度值，從所述3D特征點(diǎn)地圖中確定出待刪除特征點(diǎn)并刪除。

可選的，所述逐幀比對(duì)所述圖像特征點(diǎn)與所述3D特征點(diǎn)地圖中特征點(diǎn)的特征參數(shù)之前，還包括：

基于所述圖像序列的第一幀圖像中含有的圖像特征點(diǎn)，利用詞袋模型創(chuàng)建特征詞袋字典；

利用EPnP算法計(jì)算相鄰兩幀圖像幀之間的相對(duì)旋轉(zhuǎn)和相對(duì)位移，以得到每幀圖像幀相對(duì)于所述全局地圖坐標(biāo)系的相機(jī)位姿；

根據(jù)圖像特征點(diǎn)在對(duì)應(yīng)的灰度圖像幀和深度圖像幀中的坐標(biāo)，得到所述圖像特征點(diǎn)的原始3D坐標(biāo)；