[發明專利]一種基于語義VSLAM的無人機導航方法

有效

• 申請號: 202110557383.2
• 申請日: 2021-05-21
• 公開（公告）號: CN113405547B
• 公開（公告）日: 2022-03-22
• 發明（設計）人: 岳晨曦;孫浩;孫玲玲;李鄭慧;胡莉英
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G01C21/16
• 分類號: G01C21/16;G01C21/20;G06T17/00;G06T17/05;G06T17/20;G06N3/04;G06N3/08
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 楊舟濤

1.一種基于語義VSLAM的無人機導航方法，其特征在于：

步驟1、LIME低光照優化處理；

利用RGB-D傳感器獲取RGB圖和深度圖；初始化輸入圖像的通道數，將圖像數值歸一化到0～1；當輸入為RGB圖像時，篩選出RGB三個通道中最大的那個值，接下來進行伽馬校正，然后利用Retinex進行求解，計算出增強后的RGB值，并進行閾值化去噪處理，最后保存輸出；

步驟2、八叉樹地圖的生成

VSLAM根據步驟一處理后的RGB圖和深度圖進行運動估計及三維點云地圖構建，生成三維點云圖及關鍵幀；YOLOv4-tiny利用步驟一處理后的RGB圖像進行語義標注，每隔一段時間利用超體素分割在三維點云圖上進行預分割，生成紋理、材質及顏色相似度高于設定閾值的點云，聚在一起得到新的三維點云圖，將關鍵幀中的二維語義標注映射到新的三維點云圖，形成語義地圖；VSLAM將語義地圖轉換為八叉樹地圖；

步驟3、軌跡優化

對Fast-planner進行參數初始化，計算障礙物相關代價；遍歷步驟二中新的三維點云圖，提取障礙物三維坐標，將步驟二中新的三維點云圖中的點云轉化成全局點云；將障礙物坐標進行判斷，計算出安全距離，防止飛控逾越安全距離，完成一個點云的判斷以后繼續遍歷，直至遍歷完成所有局部點云；遍歷完成后尋找代價最小的路徑，即最優路徑，并提取最優路徑的航向角；

步驟4、航跡飛行

無人機利用飛行控制軟件訂閱任務模塊、控制指令及無人機狀態，設置發布期望姿態，并初始化參數包括起飛高度、安全高度、下降速度及地理圍欄；提取步驟3中最優路徑的航向角進行航跡飛行。

2.根據權利要求1所述的一種基于語義VSLAM的無人機導航方法，其特征在于：所述的利用超體素分割在三維點云圖上進行預分割，生成紋理、材質及顏色相似度高于設定閾值的點云，聚在一起得到新的三維點云圖，將關鍵幀中的二維語義標注映射到新的三維點云圖，形成語義地圖；具體為：

首先超體素分割算法初始化，包括點云變量初始化、加載點云數據、禁止單視角轉換、通過設置體素尺寸大小來決定底層八叉樹的葉子尺寸，通過設置種子大小決定超體素的大小、顏色權重、設置空間距離權重，初始化超體素存儲容器，用于超體素存儲；再計算超體素質心，并對原始點云進行下采樣，計算超體素法向量之后構造鄰接圖進行圖計算；遍歷容器獲取容器中的標簽值，將標簽值和超體素建立對應關系，從而構造紋理、材質及顏色類似的點云集，并繪制該超體素與其相鄰超體素的子圖得到新的三維點云圖，指向下一個標簽，判斷容器不為空的話，繼續遍歷容器，否則表示超體素分割完成，遍歷所有超體素，并取出關鍵幀中對應的Lable，將相應的點云團進行標注，融合生成語義地圖。

3.根據權利要求1所述的一種基于語義VSLAM的無人機導航方法，其特征在于：所述的YOLOv4-tiny利用步驟一處理后的RGB圖像進行語義標注，具體如下：

首先RGB圖像上增加灰條，實現不失真的圖片大小調整，再加上batch_size的維度，接下來使用YOLOv4-tiny進行算法識別，將處理后的圖片輸入到網絡中去進行預測，預測之后會出現很多預測框堆疊，使用非極大值抑制；如果說在圖片中沒有檢測出相關目標，則返回原圖，反之檢測到目標時，所處理過后的預測框進行得分篩選，并且去掉灰條，將圖片中的目標物體進行框定標注。