[發明專利]一種基于無人機拍攝和語義分割的全局導航輔助方法

有效

• 申請號: 202010175657.7
• 申請日: 2020-03-13
• 公開（公告）號: CN111551167B
• 公開（公告）日: 2022-09-27
• 發明（設計）人: 祖浩杰;汪筱亮
• 申請（專利權）人: 江蘇蓋亞環境科技股份有限公司
• 主分類號: G01C21/00
• 分類號: G01C21/00;G01C21/20;G01S19/45;G06F16/29;G06T3/40;G06T5/50;G06T11/20
• 代理公司: 北京商專潤文專利代理事務所(普通合伙) 11317
• 代理人: 邢若蘭

1.一種基于無人機拍攝和語義分割的全局導航輔助方法，其特征在于，包括：

進行無人機目標飛行區域的設定，利用Dubins軌跡規劃算法規劃飛行巡航軌跡；

無人機根據設定的飛行巡航軌跡對目標飛行區域進行拍攝，無人機以垂直地面的角度對地面進行拍攝,在巡航軌跡中的直線飛行航線中均勻選擇一系列點作為GPS位置標定點，用于后續位置校正使用；

獲取無人機拍攝數據，根據拍攝數據中每一張照片所攜帶的GPS點位信息以及時間戳信息，得知照片序列所對應的位置以及照片與照片間的位置關系，利用序列在軌跡中的位置排序，得到相片之間的重疊率，對于重疊率超過設定閾值的照片，利用圖像拼接融合算法對拍攝數據進行合成處理；

對合成處理的結果進行語義分割地圖制作；

完成的制作地圖導入QGIS系統；

所述無人機對目標飛行區域進行拍攝包括：

無人機在拍攝每一幀圖片時無人機所在GPS位置也被記錄在圖片信息中，然后根據拍攝設備的焦距以及感光區域大小計算出拍攝的照片內容所對應的實際地貌大小，具體公式為:

其中,R為拍攝內容的實際大小，r為攝像頭的感光區域大小，H為無人機飛行高度，f為攝像機焦距；

在無人機在飛行拍攝過程中在GPS位置標定點無人機懸停5s，進行GPS位置校正，拼接后圖片以校正點的GPS位置作為標準位置，從而計算出全圖所有點的GPS位置。

2.根據權利要求1所述的一種基于無人機拍攝和語義分割的全局導航輔助方法，其特征在于，利用圖像拼接融合算法對拍攝數據進行合成處理，包括通過連續幀間的重合部分，使用SURF算法計算出每張拍攝照片的特征，根據特征的空間尺度不變特性實現幀間特征匹配，實現對拍攝數據的合成處理。

3.根據權利要求1所述的一種基于無人機拍攝和語義分割的全局導航輔助方法，其特征在于，所述語義分割地圖制作包括：

訓練語義分割地圖的神經網絡模型；

將訓練好的神經網絡模型對需要合成的圖片進行處理。

4.根據權利要求3所述的一種基于無人機拍攝和語義分割的全局導航輔助方法，其特征在于，所述訓練語義分割地圖的神經網絡模型步驟具體包括：

利用開源軟件，將合成處理的拍攝數據進行人工標注，人工標注出可行使區域與不可行使區域，此標注數據作訓練集；

采用Auto-DeepLab方法對VOC2012和COCO語義分割訓練集進行預訓練，獲取神經網絡模型；

將標注數據的訓練集輸入到神經網絡模型，通過設定的損失函數對神經網絡模型進行微調，并通過驗證集和測試集的檢驗。

5.根據權利要求1所述的一種基于無人機拍攝和語義分割的全局導航輔助方法，其特征在于，所述獲取無人機拍攝數據，并利用圖像拼接融合算法對拍攝數據進行合成處理具體包括：

提取拍攝數據中拍攝圖片的特征點，并進行拍攝圖片的特征點匹配得到圖片拼接位置順序并完成拼接。

6.根據權利要求5所述的一種基于無人機拍攝和語義分割的全局導航輔助方法，其特征在于，利用特征點匹配得到圖片拼接位置順序并完成拼接，具體包括：

1)通過SURF算法對所有采集的圖像提取特征點；

2)計算圖片與圖片之間特征點蔑視算子之間的歐氏距離，小于規定閾值的則此特征點匹配成功，否則失敗；

3)根據匹配成功的特征點，通過仿射變換，獲取圖像與圖像之間的變換矩陣；

4)通過圖像間變換矩陣H,實現對相應圖像進行變換并確定圖像間的重疊區域，然后將待融和圖像映射到一幅新的空白圖像中形成拼接圖。

7.根據權利要求6所述的一種基于無人機拍攝和語義分割的全局導航輔助方法，其特征在于，在步驟4中，為了防止出現亮度差異，對于中間的重疊區域的灰度值使用加權方式確定

其中α_i為重疊區域每張圖片對應的透明度，n為重疊區域中涉及的圖片個數，α為計算得出的平均透明度，P_i為重疊區域圖片的像素值，P為計算后的重疊區域的結果。