[發明專利]一種基于Kinect2傳感器的室內夜間視覺導航方法

有效

• 申請號: 201710045981.5
• 申請日: 2017-01-22
• 公開（公告）號: CN106908064B
• 公開（公告）日: 2019-12-27
• 發明（設計）人: 鄭亞莉;程洪;駱佩佩;陳詩南
• 申請（專利權）人: 電子科技大學
• 主分類號: G01C21/20
• 分類號: G01C21/20;G06F16/583
• 代理公司: 51220 成都行之專利代理事務所(普通合伙)
• 代理人: 溫利平;陳靚靚

本發明公開了一種基于Kinect2傳感器的室內夜間視覺導航方法，機器人在運動過程中采用Kinect2傳感器獲取紅外圖像和深度圖像序列，采用首幀紅外圖像的特征點對紅外特征數據庫進行初始化，采用首幀深度圖像初始化3D點云數據庫，然后在后續幀紅處圖像中提取紅外特征點，與紅外特征數據庫中的特征點進行匹配，與3D點云對應，去除外點，根據剩下的匹配特征點對獲取當前幀對應的旋轉矩陣R_t和平移矩陣T_t，并將當前幀的點云與現有3D地圖進行對齊與拼接，實現3D地圖擴展。本發明利用Kinect2傳感器獲取的紅外圖像，結合深度圖像，實現可靠性較高的機器人室內夜間視覺導航。

技術領域

本發明屬于機器人和計算機視覺技術領域，更為具體地講，涉及一種基于Kinect2傳感器的室內夜間視覺導航方法。

背景技術

導航技術是機器人的核心關鍵技術之一。隨著行業對機器人需求的不斷提出，機器人市場的蓬勃發展，不斷涌現出各類的導航技術。現有的室內導航定位技術主要分為基于視覺的傳感器和非視覺傳感器。采用視覺導航方式的優勢在于價格低廉，容易消除累計誤差，但難以實現夜間定位。非視覺傳感器包括編碼器、慣性測量單元、激光、RFID、Wifi、藍牙、超寬帶等。非視覺傳感器對于光線沒有要求，可以工作在白天和黑夜，但編碼器、慣性測量單元容易產生累計誤差且無法消除；激光和超寬帶的精度高，但價格通常比較昂貴；RFID、Wifi、藍牙的定位精度不高，且需要分布式布點。

如前所述，視覺傳感器有非視覺傳感器不可比擬的優勢，而視覺傳感器在室內夜間移動平臺上通常不可用，原因如下：一方面，視覺傳感器對光照有要求，在無光或少光的情況下，通常需要增加曝光時間；另一方面，增長曝光時間會使得運動中的移動平臺采集到模糊圖像，極大地影響準確度。Kinect2是微軟公司推出的第二代體感感應器，主要采用Time of Flight的技術實現，其深度信息是通過主動發射紅外光所獲得，獲得的紅外光同時可以產生輸出紅外圖像。當然，紅外圖像相對于普通RGB圖像來講，圖像對比度較弱，提取的特征明顯少于普通的RGB圖像，這增加了夜間視覺導航的難度，故不能直接轉移應用至RGB的視覺導航技術。

發明內容

本發明的目的在于克服現有技術的不足，提供一種基于Kinect2傳感器的室內夜間視覺導航方法，基于Kinect2傳感器獲取的紅外圖像和深度圖像來實現可靠的室內夜間視覺導航。

為實現上述發明目的，本發明基于Kinect2傳感器的室內夜間視覺導航方法包括以下步驟：

S1：在室內運動區域的機器人視野范圍內搜索夜間紅外特征缺乏處，如果存在，則補充紅外特征圖案，否則不作任何操作；

S2：機器人在運動過程中，采用Kinect2傳感器獲取紅外圖像和深度圖像序列，并分別對紅外圖像和深度圖像進行預處理，其中紅外圖像采用圖像增強處理，深度圖像的預處理方法為：對深度圖像進行深度判斷，如果深度超過Kinect2傳感器的有效距離，將深度圖像中與Kinect2傳感器距離大于有效距離的點刪除，僅保留有效距離范圍內的點；

S3：如果當前圖像序號t＝1，進入步驟S4，否則進入步驟S5；

S4：對首幀紅外圖像進行紅外特征提取，得到紅外特征點，將各個紅外特征點信息放入紅外特征數據庫；記首幀的投影矩陣P₁為：

其中，R₁表示首幀的旋轉矩陣，T₁表示首幀的平移矩陣；

采用首幀深度圖像初始化3D點云數據庫，形成3D地圖，將首幀所對應的機器人位置坐標作為坐標原點，然后返回步驟S2；

S5：對當前幀紅外圖像中進行紅外特征提取，得到紅外特征點，根據當前幀的深度圖像獲取紅外特征點對應的3D點，如果對應3D點存在，則不作任何操作，否則刪除該紅外特征點；