[發(fā)明專利]基于單線激光雷達(dá)和頂視攝像頭融合的室內(nèi)定位方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110818280.7
• 申請(qǐng)日: 2021-07-20
• 公開（公告）號(hào): CN113570663A
• 公開（公告）日: 2021-10-29
• 發(fā)明（設(shè)計(jì)）人: 鮑嘉龍;伍小夏
• 申請(qǐng)（專利權(quán)）人: 上海云易航空科技有限公司
• 主分類號(hào): G06T7/73
• 分類號(hào): G06T7/73;G06K9/62;G06K9/46;G01S17/86;G01S11/12;G01C21/20
• 代理公司: 浙江永鼎律師事務(wù)所 33233
• 代理人: 陸永強(qiáng)

本發(fā)明公開了基于單線激光雷達(dá)和頂視攝像頭融合的室內(nèi)定位方法，包括：利用頂視相機(jī)獲取天花板圖像信息，得到序列影像并提取關(guān)鍵幀；利用單線激光雷達(dá)獲取移動(dòng)過程中的室內(nèi)場(chǎng)景的輪廓信息，得到頂視相機(jī)的任一幀的序列影像對(duì)應(yīng)的初始位姿；采用模板匹配和特征匹配對(duì)關(guān)鍵幀進(jìn)行逐幀的匹配，求得相鄰關(guān)鍵幀的序列影像的相對(duì)坐標(biāo)和姿態(tài)轉(zhuǎn)換關(guān)系；根據(jù)起始的兩相鄰關(guān)鍵幀的序列影像并采用相對(duì)定向算法構(gòu)建起始的天花板的點(diǎn)云模型，并采用PnP算法對(duì)n個(gè)關(guān)鍵幀的序列影像進(jìn)行分批匹配，得到任一關(guān)鍵幀下的頂視相機(jī)的位姿；結(jié)合移動(dòng)設(shè)備的移動(dòng)軌跡，并利用核線密集匹配算法構(gòu)建天花板像素級(jí)模型，以實(shí)現(xiàn)移動(dòng)設(shè)備的室內(nèi)定位。

技術(shù)領(lǐng)域

本發(fā)明涉及定位技術(shù)領(lǐng)域，尤其是基于單線激光雷達(dá)和頂視攝像頭融合的室內(nèi)定位方法。

背景技術(shù)

室內(nèi)定位是指在建筑物的室內(nèi)環(huán)境中實(shí)現(xiàn)位置的定位，其通過多種技術(shù)手段和方式，均可以初步實(shí)現(xiàn)室內(nèi)定位，確定人員、物體在室內(nèi)空間中的位置。目前現(xiàn)有技術(shù)中常用的設(shè)備有相機(jī)、激光雷達(dá)、超聲波、WIFI、藍(lán)牙、超帶寬和RFID等等。室內(nèi)是人員日常活動(dòng)的最主要場(chǎng)所，室內(nèi)定位有著廣泛的應(yīng)用空間和潛在需求，但是在實(shí)際的使用中，由于室內(nèi)環(huán)境復(fù)雜，干擾較多，所以現(xiàn)有定位的精度和準(zhǔn)度都不夠高。

目前，現(xiàn)有技術(shù)中主流定位方法包括基于激光雷達(dá)的點(diǎn)云匹配定位方法和基于影像匹配的視覺定位方法。其中，基于激光雷達(dá)的定位方法通過發(fā)射和獲取大量激光點(diǎn)獲取點(diǎn)云，記錄每點(diǎn)測(cè)距信息，通過兩幀點(diǎn)云數(shù)據(jù)的匹配獲得相鄰時(shí)刻相對(duì)位姿；如專利申請(qǐng)?zhí)枮椤?01611006340.0”、名稱為“一種基于深度相機(jī)與激光雷達(dá)的定位與導(dǎo)航方法”的中國發(fā)明專利。另外，基于視覺的定位方法是通過相鄰時(shí)刻兩幀影像的精確匹配，根據(jù)攝影測(cè)量方法得到兩次拍攝相機(jī)的相對(duì)位姿，進(jìn)而實(shí)現(xiàn)機(jī)器人的相對(duì)定位，通常包括特征提取，影像匹配，相對(duì)定向位姿解算等步驟。例如專利申請(qǐng)?zhí)枮椤?01410831889.8”、名稱為“一種基于三維環(huán)境模型匹配的室內(nèi)定位方法”的中國發(fā)明專利，其利用基于計(jì)算機(jī)視覺測(cè)程原理的算法對(duì)數(shù)據(jù)采集裝置在不同時(shí)刻收集到的信息進(jìn)行相對(duì)位置估計(jì)，從而獲得三維環(huán)境中每一個(gè)位置的三維坐標(biāo)。

上述方法的定位過程都可以分為相對(duì)定位和絕對(duì)定位。相對(duì)定位是估計(jì)機(jī)器人相鄰時(shí)刻的相對(duì)位姿，獲得機(jī)器人相對(duì)于上一時(shí)刻的位姿變換。絕對(duì)定位是將機(jī)器人定位到已有地圖上。

目前，基于激光雷達(dá)的點(diǎn)云匹配定位方法和基于視覺的定位方法基本上都會(huì)水平設(shè)置的激光雷達(dá)和水平放置的前視、側(cè)視、后視相機(jī)進(jìn)行的定位。上述方法在一些室內(nèi)場(chǎng)景中可以取得不錯(cuò)的定位效果，但是依然在很多的室內(nèi)場(chǎng)景中無法很好的使用。在復(fù)雜的室內(nèi)環(huán)境中，如商場(chǎng)、地下停車場(chǎng)、圖書館、超市和餐廳中，室內(nèi)定位常常面臨場(chǎng)景高動(dòng)態(tài)的問題，由于人流密集和室內(nèi)車輛、桌椅等物體的移動(dòng)，在水平方向形成了許多遮擋，水平的激光雷達(dá)和水平的相機(jī)都會(huì)受到大量的遮擋，獲得很多的無效信息，使得真正能夠用于定位的室內(nèi)場(chǎng)景的結(jié)構(gòu)化信息被掩蓋，導(dǎo)致定位精度下降，甚至定位的完全失敗。

因此，急需要提出一種邏輯簡(jiǎn)單、定位準(zhǔn)確的基于單線激光雷達(dá)和頂視攝像頭融合的室內(nèi)定位方法。

發(fā)明內(nèi)容

針對(duì)上述問題，本發(fā)明的目的在于提供基于單線激光雷達(dá)和頂視攝像頭融合的室內(nèi)定位方法，本發(fā)明采用的技術(shù)方案如下：

基于單線激光雷達(dá)和頂視攝像頭融合的室內(nèi)定位方法，所述室內(nèi)的天花板上設(shè)置有吊頂；所述吊頂設(shè)置有網(wǎng)格圖形，包括以下步驟：

在移動(dòng)設(shè)備的頂部設(shè)置拍攝角朝向室內(nèi)的天花板的頂視相機(jī)，并在移動(dòng)設(shè)備上水平設(shè)置一單線激光雷達(dá)；

利用頂視相機(jī)獲取天花板圖像信息，并得到移動(dòng)過程中的序列影像，提取序列影像中的關(guān)鍵幀；同時(shí)，利用單線激光雷達(dá)獲取移動(dòng)過程中的室內(nèi)場(chǎng)景的輪廓信息，并得到頂視相機(jī)的任一幀的序列影像對(duì)應(yīng)的初始位姿；

采用模板匹配和特征匹配對(duì)關(guān)鍵幀進(jìn)行逐幀的匹配，求得相鄰關(guān)鍵幀的序列影像的相對(duì)坐標(biāo)和姿態(tài)轉(zhuǎn)換關(guān)系；