[發明專利]一種基于改進YOLOv4的河道廢棄物監測方法

在審

• 申請號: 202011383306.1
• 申請日: 2020-12-01
• 公開（公告）號: CN112613343A
• 公開（公告）日: 2021-04-06
• 發明（設計）人: 林峰;侯添;朱志冠
• 申請（專利權）人: 浙江大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廈門原創專利事務所(普通合伙) 35101
• 代理人: 龔杰奇

本發明涉及計算機視覺技術領域，具體地說，涉及一種基于深度學習的河道漂浮物監測方法。利用已有的攝錄設備從一定的角度、合適的距離，對河道水面的漂浮物進行監測，獲得視頻圖像后，對數據集中所有標注的邊框進行尺度的聚類處理，再對視頻數據采用Mosaic數據增強方法進行預處理，然后利用訓練好的分類模型進行識別，對漂浮物進行實時檢測。本發明例的訓練及檢測網絡采用YOLOv4網絡結構，其特征圖的上采樣方式采用雙線性插值算法，在保證模型準確性的同時，降低了計算量，提升了設備的計算速度。該方法準確率高，檢測速度快，具有很高的應用價值。

技術領域

本發明涉及計算機視覺技術領域，具體地說，涉及一種基于改進YOLOv4的河道漂浮物監測方法。

背景技術

河道中的漂浮物對于河道的美觀、河道的水質以及環境的評估有著重要的影響。現今河道漂浮物往往靠人工到現場或借助視頻發現，需要化費大量的人工和時間，需要一種能自動監測河道廢棄物的便捷可靠的辦法。隨著機器視覺技術的發展，使得基于機器視覺自動識別監測河道廢棄物成為可能。

現在已經有不少采用深度學習等技術進行目標檢測的方法，如公布號為CN111709381A的中國專利文獻公開了一種基于YOLOv3-SPP的道路環境目標檢測方法，該方法利用深度學習技術與圖像處理技術，具有更好的抗噪性能和識別精度，為智能駕駛系統精準感知行車提供了可能。公布號為CN 111553406A的中國專利文獻公開了一種基于改進YOLO-V3的目標檢測系統、方法及終端，該系統網絡模型較小，加快目標檢測速度，增強了網絡特征融合效果，實現了更好的檢測結果。公布號為CN111709489A的中國專利文獻公開了一種基于改進YOLOv4的柑橘識別方法，該方法通過改進YOLOv4網絡模型結構，添加了上采樣模塊和對小目標敏感的檢測特征圖，能更好的識別個體較小的柑橘。公布號為CN110348303A的中國專利文獻公開了一種可搭載于無人艇的輔助水面巡邏系統以及水面監測方法，該方法采用YOLOV3算法進行檢測與識別，其計算速度與YOLOV4有一定差距。

以上方法雖然對特定的目標有很好的檢測效果，但由于河道廢棄物具有不同的特征，有各種干擾，比如：水草或其他設施遮擋監測目標的一部分、漂浮物附近有強烈的反光、河道水體表面復雜、目標在圖像中較小、目標附近有波紋等。因此需要對數據進行預處理，采用合適的網絡及算法來進行監測。

發明內容

本發明的目的是提供一種基于深度學習的河道漂浮物監測方法，通過對視頻里漂浮物的識別，來實現對河道水面的監測。為了實現上述目的，本發明采用基于改進YOLOv4的河道漂浮物監測方法，如圖1所示，其中訓練過程包括以下步驟：

1)獲取河道水面監測的原始視頻數據，從原始視頻數據中提取出圖像數據；

2)對數據集中所有標注的邊框進行尺度的聚類處理；

3)視頻數據采用Mosaic數據增強方法進行預處理；

4)將一個batch圖像數據輸入網絡中進行前向傳播得到檢測結果；

5)對檢測結果與標注值計算loss；

6)根據loss值反向傳播，并根據學習率進行權重的更新；

7)重復4)、5)、6)步驟直到網絡loss不斷下降，趨于收斂。

檢測過程包括以下步驟：

8)將待檢測圖像作為輸入，經過backbone提取圖片特征；

9)提取backbone網絡中不同深度的特征圖；

10)將提取的多個尺度的特征圖作為FPN結構的輸入進行特征融合，其中特征圖上采樣方式為雙線性插值算法；

11)將FPN融合后的多尺度特征圖輸入到PAN結構中進行強特征定位，得到三個不同尺度的特征圖檢測結果；