[發(fā)明專利]基于色彩圖像和紅外圖像融合的即時定位與建圖系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201710391757.1
• 申請日: 2017-05-27
• 公開（公告）號: CN107204015B
• 公開（公告）日: 2021-06-08
• 發(fā)明（設計）人: 陳龍;孫黎波;黎丹;黃凱
• 申請（專利權）人: 中山大學
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T11/20
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 陳衛(wèi)

本發(fā)明公開了一種基于色彩圖像和紅外圖像融合的即時定位與建圖算法，該算法可以適用于在光照充足環(huán)境以及低光照環(huán)境下的即時定位與建圖。在具體實現(xiàn)過程中該算法主要通過提取色彩圖像和紅外圖像中的特征點來創(chuàng)建同時包含色彩圖像地圖點和紅外圖像地圖點的地圖，并且在達到新的位置時通過獲取到的新的信息來不斷地更新已經(jīng)創(chuàng)建好的地圖，同時利用現(xiàn)有的地圖定位出當前的位置。該算法由于同時使用了色彩圖像和紅外圖像，因此綜合考慮了周圍環(huán)境的色彩信息和紅外信息，從而使得該算法與傳統(tǒng)的基于色彩圖像的算法相比具有更高的光照魯棒性、更好的適用范圍，能夠適用于使用色彩圖像定位失敗的低光照環(huán)境。

技術領域

本發(fā)明涉及圖像的技術領域，更具體地，涉及基于色彩圖像和紅外圖像融合的即時定位與建圖系統(tǒng)。

背景技術

實時（即時）的定位與建圖（SLAM）在機器人、無人車、無人機和增強現(xiàn)實（AR）應用中發(fā)揮著重要的作用。對于機器人和無人車，SLAM不可或缺，因為需要SLAM 模塊在制定控制策略之前感知周圍環(huán)境。對于近年來很熱門話題——虛擬現(xiàn)實和增強現(xiàn)實，SLAM提供了他們所需的前提條件——重建環(huán)境3D地圖。

然而當前基于色彩圖像的SLAM系統(tǒng)都有一個共同的缺點，即它們只能在光照充足的環(huán)境中工作。當面對低光照環(huán)境時，現(xiàn)有技術的視覺方法將失去它們的功能，因為它們不能獲得足夠的色彩信息的特征或紋理來支撐系統(tǒng)的正常運行。紅外相機可以通過接受周圍場景的紅外熱輻射信息來獲取物體的溫度并進一步得到對應的紅外熱圖像，該紅外信息不直接依賴于光照強度，因此近年來紅外相機開始被用在物體表面3D溫度圖像的建立以及定位與建圖中。

雖然對于不能獲得足夠的色彩信息的低光照環(huán)境來說，紅外傳感器可以是很好的信息源，但是單獨使用紅外傳感器進行定位會存在一個比較明顯的問題，即基于紅外傳感器的定位系統(tǒng)需要周圍環(huán)境的場景中存在一定的溫度差異，對溫度差異較小的環(huán)境定位系統(tǒng)會由于信息不足而失效。因此使用單獨的紅外傳感器進行定位和建圖會具有比較小適用范圍，一般用于特定的場景，如變電站、機房控制室等特殊環(huán)境。

發(fā)明內容

本發(fā)明為克服上述現(xiàn)有技術所述的至少一種缺陷，提供基于色彩圖像和紅外圖像融合的即時定位與建圖系統(tǒng)，通過將環(huán)境的色彩信息和紅外信息融合在一起實現(xiàn)即時的定位與建圖。

本發(fā)明的技術方案是：基于色彩圖像和紅外圖像融合的即時定位與建圖系統(tǒng)，其中，包括定位模塊、建圖模塊、優(yōu)化模塊三大部分，

定位模塊基于已經(jīng)被創(chuàng)建出來的包含紅外特征地圖點和色彩特征地圖點的地圖來進行，并且通過獲取的色彩圖像和紅外圖像來不斷更新已經(jīng)被創(chuàng)建的地圖用于后續(xù)定位；

建圖模塊創(chuàng)建同時包含色彩圖像特征和紅外圖像特征的地圖點，并在定位完成時根據(jù)新的數(shù)據(jù)源不斷的更新現(xiàn)有地圖，以及對地圖點中錯誤的壞點進行剔除；

回環(huán)優(yōu)化模塊通過回環(huán)探測的方式對創(chuàng)建好的全局地圖進行優(yōu)化，在進行回環(huán)探測時同時使用色彩圖像和紅外圖像進行回環(huán)探測。

本發(fā)明與僅能提供色彩圖像的光學相機不同，通過使用一些當前的雙模式相機可以為同一場景提供色彩圖像和熱圖像。色彩和熱圖像中的像素具有直接對應性，并且由相機的硬件來直接實現(xiàn)對應性的校正，因此基于這種圖像像素之間的對應關系，我們可以通過將環(huán)境的色彩信息和紅外信息融合在一起實現(xiàn)即時的定位與建圖。

提出了一個新的單目即時定位與建圖（SLAM）框架，與大多數(shù)現(xiàn)有的視覺SLAM方法（嚴重依賴于照明條件）不同，我們提出的框架通過融合色彩信息與紅外信息來實現(xiàn)，因此有著更強的光照魯棒性，可以適用于更具有挑戰(zhàn)意義的場景，如室內或室外的低光照、低紋理環(huán)境。

具體的，色彩信息和紅外信息的融合被放在圖像的前端進行，即在色彩圖像和紅外圖像之間尋找圖像像素之間的相關性，并且通過圖像像素之間的相關性完成信息融合后再執(zhí)行之后的定位、建圖、優(yōu)化。