[發明專利]一種基于改進YOLOv4的河道廢棄物監測方法

在審

• 申請號: 202011383306.1
• 申請日: 2020-12-01
• 公開（公告）號: CN112613343A
• 公開（公告）日: 2021-04-06
• 發明（設計）人: 林峰;侯添;朱志冠
• 申請（專利權）人: 浙江大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廈門原創專利事務所(普通合伙) 35101
• 代理人: 龔杰奇

1.一種基于改進YOLOv4的河道漂浮物監測方法，其特征在于，在網絡訓練過程包括以下步驟：

1)獲取河道水面監測的原始視頻數據，從原始視頻數據中提取出圖像數據；

2)對數據集中所有標注的邊框進行尺度的聚類處理；

3)視頻數據采用Mosaic數據增強方法進行預處理；

4)將一個batch圖像數據輸入網絡中進行前向傳播得到檢測結果；

5)對檢測結果與標注值計算loss；

6)根據loss值反向傳播，并根據學習率進行權重的更新；

7)重復4)、5)、6)步驟直到網絡loss不斷下降，趨于收斂。

在檢測過程包括以下步驟：

8)將待檢測圖像作為輸入，經過backbone提取圖片特征；

9)提取backbone網絡中不同深度的特征圖；

10)將提取的多個尺度的特征圖作為FPN結構的輸入進行特征融合，其中特征圖上采樣方式為雙線性插值算法；

11)將FPN融合后的多尺度特征圖輸入到PAN結構中進行強特征定位，得到三個不同尺度的特征圖檢測結果；

12)將所有特征圖檢測結果進行nms處理后生成最終結果并在原始輸入圖像中標注出檢測框和檢測類別；

13)提取下一幀待檢測的圖片，重復步驟8)到步驟12)完成對視頻的逐幀檢測。

2.根據權利要求1所述的一種基于改進YOLOv4的河道漂浮物監測方法，其特征在于，步驟2)中所述的對數據集中所有標注的邊框進行尺度的聚類處理:采用K-Means聚類算法獲取9類不同尺度的先驗框，其流程為：

2-1)首先在所有標注的GroundTruth樣本點中隨機選擇9個作為聚類的中心(每個樣本是一個四維的向量)；

2-2)分別計算其余所有樣本點到這9個中心的距離，各樣本點歸屬于與其距離最近的中心點；

2-3)在新劃分的簇中以四個維度上求均值的方式選出新的聚類中心；

2-4)重復步驟2-2)、2-3)直到新聚類中心與原來聚類中心不再變化，或者變動幅度在規定范圍之內。

距離公式采用歐式距離公式：

這里，X,Y為兩個樣本點，x_i，y_i分別為兩個樣本點每一個維度的坐標值。聚類結果按照面積大小排序為(23,29)、(37,34)、(26,53)、(41,53)、(41,90)、(94,40)、(61,75)、(78,135)、(188,206),可以發現先驗框的尺度差別較大，將其分別分配給76*76，38*38，19*19三個特征圖作為先驗框。

3.根據權利要求1所述的一種基于改進YOLOv4的河道漂浮物監測方法，其特征在于，步驟3)中所述的視頻數據采用Mosaic數據增強方法進行預處理:該方法參考了CutMix數據增強方式，Mosaic利用四張圖片進行拼接，它可以豐富檢測物體的背景，且在BN計算的時候一次計算四張圖片的數據，其流程為：

3-1)隨機選取四張圖片；

3-2)分別對四張圖片進行翻轉、縮放、色域變化等，并且按照四個方向位置擺好；

3-3)進行圖片的組合和框的組合，將四張圖片分別以左上、左下、右下和右上的順序重新拼接成一張新的圖片；

3-4)用該圖片數據進行訓練。

4.根據權利要求1所述的一種基于改進YOLOv4的河道漂浮物監測方法，其特征在于，步驟10)中所述的將提取的多個尺度的特征圖作為FPN結構的輸入進行特征融合，其中特征圖上采樣方式為雙線性插值算法:

雙線性插值充分考慮了周圍4個像素點的影響，根據待采樣點與周圍4個相鄰的距離為權重值，首先在水平方向上進行線性內插得到兩個中間像素值,然后對水平方向上插值得到的兩個像素點再在垂直方向上進行線性內插得到最終的像素值，其公式如下:

其中(i,j)、(x1,y1)、(x1,y2)、(x2,y1)、(x2,y2)分別為待插點以及其周圍4個點A、B、C、D的坐標值，f(i,j)、f(A)、f(B)、f(C)、f(D)分別為待插點以及其周圍4個點A、B、C、D的像素值。

5.根據權利要求1所述的一種基于改進YOLOv4的河道漂浮物監測方法，其特征在于，步驟12)中所述的將所有特征圖檢測結果進行nms處理后生成最終結果并在原始輸入圖像中標注出檢測框和檢測類別；這里的檢測類別包含有8類，分別為樹葉、塑料袋、水草、樹枝、瓶子、牛奶盒、塑料垃圾和圓球狀垃圾。