[發明專利]基于深度相機的室內飛艇定位與避障系統

有效

• 申請號: 202110045320.9
• 申請日: 2021-01-12
• 公開（公告）號: CN112781595B
• 公開（公告）日: 2023-08-01
• 發明（設計）人: 王宏偉;王磊;劉洋;王薇
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G01C21/20
• 分類號: G01C21/20;G01C21/00;G05D1/10
• 代理公司: 北京卓特專利代理事務所(普通合伙) 11572
• 代理人: 陳變花;田冰

1.一種基于深度相機的室內飛艇定位與避障方法，包括：

通過在所述室內飛行的飛艇所攜帶的深度相機捕獲視頻；

從所述視頻中提取多個關鍵幀，每個關鍵幀包括相關聯的特征點與描述子；

通過相鄰關鍵幀的匹配的特征點確定所述深度相機的位姿；

對連續的多個關鍵幀與檢測到的回環通過非線性優化得到全局一致的所述深度相機的運動軌跡；

根據運動軌跡與所述視頻建立所述飛艇所處室內場景的地圖；

根據各關鍵幀識別關鍵幀中的障礙物，根據深度相機到識別出的障礙物的距離、方向與所述飛艇的尺寸和速度選擇避障策略；以及

根據避障策略驅動所述飛艇在所述室內飛行。

2.根據權利要求1所述的方法，其中

所述飛艇包括氣囊，位于所述氣囊兩側的推進裝置，位于所述氣囊底部的吊艙與其位于所述吊艙內部設置的通信模塊和固定于所述吊艙下方固定的深度相機。

3.根據權利要求1或2所述的方法，其中

從所述視頻中提取多個關鍵幀包括：

從所述視頻提取多個所包括的特征點的數量大于閾值的幀；若所提取的當前幀相對于時間上相鄰的前一個關鍵幀的對應深度相機的位姿變化大于閾值，和/或所述當前幀相對于時間上相鄰的前一個關鍵幀的語義信息差距大于閾值，確定所述當前幀為關鍵幀。

4.根據權利要求3所述的方法，其中特征點包括關鍵點和同關鍵點關聯的描述子；

通過如下步驟確定幀中的特征點的關鍵點：

通過對從所提取的多個幀的第二幀得到的彩色圖計算梯度求得表示紋理特征的Harris角點的響應值R，以及將彩色圖的每個點的響應值所表達的圖稱為響應值圖；

通過對深度圖做進行u、v方向兩方向差分得到像素的Z坐標在兩個像素軸的梯度G_dzu與G_dzv，并計算表示每個像素點的幾何特征變化G＝G_dzu+G_dzv；其中，像素點在三維空間中的坐標為(X,Y,Z)，u、v是像素坐標系的坐標軸；

綜合紋理特征和幾何特征為每個像素計算S＝R+w·G，根據為各像素計算的S選取具有局部最大值的像素作為關鍵點。

5.根據權利要求4所述的方法，其中

通過如下步驟確定同關鍵點關聯的描述子：

在關鍵點周圍取大小為30×30的鄰域窗口，在每個窗口內隨機選取128個隨機點對，用所選取128個隨機點對構建128維的描述子，其中描述子各維度值的構建方式如下：

其中，p(x),p(y)為對應的隨機點對(x,y)的像素值。

6.根據權利要求5所述的方法，其中

通過相鄰關鍵幀的匹配的特征點確定所述深度相機的位姿包括：

根據相鄰關鍵幀的第一關鍵幀的特征點記為{x₁,…,x_n}與第一關鍵幀相鄰的特征點記為{x₁′,…,x_n′}，其中n為正整數，獲取第一關鍵幀的特征點{x₁,…,x_n}與第二關鍵幀的特征點{x₁′,…,x_n′}中的匹配點對(p_i,p'_i)，i為正整數，i＜＝n，其中所獲取的匹配點對中P＝{p₁,...,p_k}是來自第一關鍵幀的特征點集合，而P′＝{p₁′,...,p_k′}是來自第二關鍵幀的特征點集合；通過集合P與P'用迭代最近點的方式得到第二關鍵幀時所述深度相機的位姿相對于所述第一關鍵幀時的位姿變化；

累積所述深度相機的位姿變化得到深度相機的位姿。

7.根據權利要求6所述的方法，其中

使用滑動窗口法來對窗口內包括的多個連續關鍵幀采用非線性優化的方式進行優化，得到全局一致的運動軌跡和地圖。