[發明專利]基于DANet的無人機海岸線漂浮垃圾巡檢系統

有效

• 申請號: 202010050817.5
• 申請日: 2020-01-17
• 公開（公告）號: CN111259809B
• 公開（公告）日: 2021-08-17
• 發明（設計）人: 翟懿奎;植一航;柯琪銳;余翠琳;周文略;應自爐;甘俊英;曾軍英;梁艷陽;麥超云;秦傳波;徐穎
• 申請（專利權）人: 五邑大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/34;G06K9/62;G06T7/194
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 孫浩

1.基于DANet的無人機海岸線漂浮垃圾巡檢系統，其特征在于，包括：

圖像采集模塊，通過無人機對需要巡檢的海岸線進行視頻拍攝，從視頻中獲取圖像；

特征提取模塊，將圖像輸入到FPN網絡提取淺層特征和深層特征，融合淺層特征和深層特征得到共享特征，共享特征分別通過區域生成網絡分支、前景分支和背景分支，最終輸出全景識別結果；

網絡訓練模塊，對圖像進行標注并加入到數據集進行預訓練，使得網絡學習到邊緣特征和顏色特征，根據海岸線巡檢的要求修改分類器，對已標注的圖像進行訓練，使網絡能夠識別出海岸線以及漂浮垃圾；

路徑修正模塊，用于調整無人機飛行方向，無人機以海岸線延伸方向為方向角向前飛行，計算所有海岸線坐標的平均值，作為無人機飛行起點，將海岸線和陸地相接的點進行排序、擬合成一條連續的曲線，計算曲線上的點的切線方向，從而確定飛行方向角。

2.根據權利要求1所述的基于DANet的無人機海岸線漂浮垃圾巡檢系統，其特征在于：所述圖像采集模塊從視頻中每秒取五幀圖像，圖像分辨率為1920*1080。

3.根據權利要求1所述的基于DANet的無人機海岸線漂浮垃圾巡檢系統，其特征在于：所述共享特征通過區域生成網絡分支時，共享特征經過區域生成網絡RPN，計算得到圖像中每個可能是目標的推薦區域，推薦區域一一經過全連接層，通過softmax函數計算輸出類別，經過區域回歸計算出目標在圖像中的位置坐標。

4.根據權利要求1所述的基于DANet的無人機海岸線漂浮垃圾巡檢系統，其特征在于：所述共享特征通過前景分支分割前景目標時，共享特征通過感興趣區域對齊算法(ROIAlign)，將區域生成網絡得到的多個推薦區域先進行雙線性插值，再池化成14×14和7×7的特征圖，14×14的特征圖進過掩膜生成網絡，掩膜生成網絡由殘差網絡ResNet50連接兩層全連接層組成，輸出帶掩膜的特征圖，得到前景目標掩膜；7×7的特征圖經過分類定位網絡，分類定位網絡由兩層連接層連接回歸算法和softmax算法組成，輸出獲得前景目標的類別和圖像中的位置坐標。

5.根據權利要求1所述的基于DANet的無人機海岸線漂浮垃圾巡檢系統，其特征在于：所述共享特征通過背景分支分割圖像的背景時，使用推薦區域注意力模塊和掩膜注意力模塊，首先共享特征和區域生成網絡經過推薦區域注意力模塊，特征進行對應元素乘積計算，然后與原特征元素對位相加，掩膜注意力模塊融合前景特征圖和背景特征圖，利用前景的信息優化背景特征。

6.根據權利要求1所述的基于DANet的無人機海岸線漂浮垃圾巡檢系統，其特征在于：所述網絡訓練模塊使用強弱標簽的方式對海岸圖像進行標注，使用coco2014和coco2015數據集進行預訓練，預訓練使得網絡學習到邊緣特征和顏色特征，用該網絡參數進行進一步訓練，在使用數據集進行訓練的過程中，先將預訓練的分類器丟棄，保留前面隱藏層網絡結構及參數，針對類別數量的不同需要根據海岸線巡檢的要求修改分類器，使得輸出類別數量和實際需要檢測出的類別相同，修改分類器輸出后將參數隨機初始化，再使用已標注的海岸線圖像進行訓練，使得訓練后的網絡將能識別出海岸線以及漂浮垃圾。

7.根據權利要求1所述的基于DANet的無人機海岸線漂浮垃圾巡檢系統，其特征在于：所述無人機內置圖像實例分割算法和航向算法，圖像實例分割算法識別海水區域，獲得海水在畫面中的所有x、y軸坐標保存為二維數組，取y軸坐標相同，x軸坐標最小作為海岸線坐標，計算所有海岸線坐標的平均值，作為無人機飛行起點，根據航向算法確定飛行方向角，無人機旋轉調整至適合角度。