[發明專利]基于深度相機的室內飛艇定位與避障系統

有效

• 申請號: 202110045320.9
• 申請日: 2021-01-12
• 公開（公告）號: CN112781595B
• 公開（公告）日: 2023-08-01
• 發明（設計）人: 王宏偉;王磊;劉洋;王薇
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G01C21/20
• 分類號: G01C21/20;G01C21/00;G05D1/10
• 代理公司: 北京卓特專利代理事務所(普通合伙) 11572
• 代理人: 陳變花;田冰

提供了基于深度相機的室內飛艇定位與避障系統。所提供的基于深度相機的室內飛艇定位與避障方法，包括：通過在所述室內飛行的飛艇所攜帶的深度相機捕獲視頻；從所述視頻中提取多個關鍵幀，每個關鍵幀包括相關聯的特征點與描述子；通過相鄰關鍵幀的匹配的特征點確定所述深度相機的位姿；對連續的多個關鍵幀與檢測到的回環通過非線性優化得到全局一致的所述深度相機的運動軌跡；根據運動軌跡與所述視頻建立所述飛艇所處室內場景的地圖；根據各關鍵幀識別關鍵幀中的障礙物，根據深度相機到識別出的障礙物的距離、方向與所述飛艇的尺寸和速度選擇避障策略；以及根據避障策略驅動所述飛艇在所述室內飛行。

技術領域

本發明涉及飛行器技術領域，具體是涉及一種基于深度相機的室內飛艇同時定位與避障方案。

背景技術

無人機在環境的監測、農業勘察和航空攝影等方面用途十分廣泛，并且成本較低，從而在市場上得到普及，越來越受到人們的認可。但是無人機高速運轉的旋翼裸露在外，一旦發生故障會對周圍人群帶來傷害，同時其續航性差，因此在人群密集和需要長時間工作的場合使用受到限制。而飛艇本身續航能力強，并且運動速度較慢，艇身由巨大的氣囊組成，即使出現故障墜落速度也不會過高，安全性能有保障，因此可以彌補無人機的在室內人群密集場所使用受限的缺點。

室外環境可以用GPS進行定位，成本較低且精度高，但是在室內無GPS信號的條件下則需要通過其他方式來實現定位。對于機器人和無人機來說，在探索未知環境的時候，需要同時解決自身定位和外界感知兩個問題。像這樣一邊估計主體自身位置，一邊建立周圍環境的模型的方式叫做同時定位與建圖(Simultaneous?Localization?and?Mapping)，簡稱SLAM技術。在SLAM技術中常用的傳感器有激光雷達和相機，并依此分為激光SLAM和視覺SLAM。基于激光的方式成熟，可靠性高，建圖方式直接。但是激光雷達作為傳感器安裝要求較高，并且僅能探測到2D平面的障礙物信息，探測不到垂直平面的信息，建立的地圖為二維地圖，所提供的環境信息有限等問題。相機作為傳感器，成本較低并且容易安裝，同時可以適用于大部分環境，獲取環境的語義信息。語義在此處泛指機器人對周圍環境內容的理解，例如了解環境中的物體類別以及它們的關系等。能正確地理解環境的高級語義信息再結合傳統的SLAM算法便可以構建出可用的語義地圖。如何利用相機實現飛行器的定位，同時獲取周圍環境的語義信息并為飛行器提供避障策略成為一個關鍵問題。本申請針對無人機使用受限的室內長時間工作場合，提出一種基于深度相機的室內飛艇定位與避障方案，彌補這一應用空白。

發明內容

本發明的一個目的在于克服現有技術的缺點與不足，在無人機使用受限的室內環境采用飛艇，并基于此提供一種基于深度相機的定位與避障方案。相較于無人機，飛艇具有續航性好和安全的特點，同時相較于傳統地圖信息缺少的激光SLAM方案，基于深度相機的同時定位與避障方案可以充分利用圖像中的語義信息，實現定位并同時根據語義信息提供避障策略。

本發明提供了一種室內飛艇實時的定位和避障方案。定位需要周圍環境的信息，同時建圖又依賴于自身的位置，是一個同時進行的過程，所以稱為同時定位與建圖技術。首先通過RGB-D相機獲取視頻，利用相鄰圖像間的信息解算相機的位姿，將相機的位姿表現出來即得到相機的運動軌跡。但是僅通過相鄰幀計算位姿會產生誤差，而地圖的建立又依賴于相機的位置，因此要得到全局一致的相機軌跡和地圖還需要將得到的位姿進行優化，同時采用回環檢測對視頻中圖像進行相似度比較，檢測飛艇是否到達同一位置，如果確認到達同一位置則也將信息輸入到優化部分進行優化而消除僅通過相鄰關鍵幀計算位姿產生的誤差。另外，由于RGB-D相機可以同時獲得彩色圖和深度圖，在對視頻中的關鍵幀圖像利用預先訓練好的神經網絡模型確定彩色圖中的語義信息之后，可以同時根據深度圖的深度信息，通過預先設置好的避障方式中選取避障策略。