[發(fā)明專利]一種基于多層特征融合的車輛檢測方法

有效

• 申請?zhí)枺?/td>: 202110755187.6
• 申請日: 2021-07-05
• 公開（公告）號: CN113420706B
• 公開（公告）日: 2022-05-24
• 發(fā)明（設計）人: 王玉;李涵宇;申鉉京;黃永平;劉同壯
• 申請（專利權）人: 吉林大學
• 主分類號: G06V20/54
• 分類號: G06V20/54;G06V10/762;G06V10/774;G06V10/82;G06K9/62;G08G1/017;G06N3/04
• 代理公司: 吉林省中玖專利代理有限公司 22219
• 代理人: 李泉宏

1.一種基于多層特征融合的車輛檢測方法，其特征在于，包括如下步驟：

步驟一：獲取帶有標注的車輛檢測數(shù)據(jù)集，劃分訓練集、驗證集、測試集；

步驟二：針對訓練集中車輛的尺寸重新設計先驗框大小，使用k-means聚類方法，得到9個聚類中心作為先驗框的尺寸；

步驟三：使用YOLO v4的主干特征提取網絡CSPdarknet 53，將提取到的四個不同尺度的特征作為輸入傳入多層特征融合網絡，經過兩次多層特征融合網絡，將輸出的三個不同尺度特征圖傳入分類回歸預測網絡得到最終預測結果；

具體包括如下步驟：

(1)CSPdarknet 53包含5個帶有殘差邊的CSPResblock，將第二到第五個CSPResblock輸出的四個特征層作為多層特征融合網絡的輸入；當輸入圖像大小為608×608×3時，四個特征層大小分別為152×152×128，76×76×256，38×38×512和19×19×1024；

(2)多層特征融合網絡包含自下而上和自上而下的兩個特征融合路徑；在自下而上的特征融合路徑中，考慮到不同層特征對于融合的貢獻是不同的，當前層特征會與下層所有特征加權后進行融合，其中權重是可以學習的參數(shù)；融合結果經過五次卷積后一部分作為自上而下融合路徑的輸入，一部分上采樣后與上層特征進行融合；在自上而下的特征融合路徑中，當前層特征會與上層所有特征層加權后進行融合，融合結果經過三次卷積后，一部分作為多層特征融合網絡的輸出，一部分經過下采樣與下層特征層進行融合；以特征層P3為例：

其中，P₃ⁱⁿ,P₄ⁱⁿ,P₅ⁱⁿ為對應特征層的輸入，P₃^td是中間特征層，P₂^out，P₃^out為對應特征層的輸出，w₁，w₂，w₃是可以學習的權重，up是上采樣，down是下采樣，cat是特征層拼接操作；其中，權重的計算方式為：

w_i首先初始化為1，經過Relu激活函數(shù)以及歸一化操作后，作為一個可以學習的參數(shù)參與網絡訓練；

(3)特征融合網絡中的3×3卷積使用深度可分離卷積，每次深度可分離卷積首先進行逐通道的3×3卷積，然后進行逐點的1×1卷積；

(4)將第一個多層特征融合網絡的輸出作為下一個多層特征融合網絡的輸入，一共經過兩次多層特征融合網絡，最終將P3,P4,P5特征圖輸入分類回歸預測網絡得到最終的預測結果；

(5)分類回歸預測網絡預測目標框偏移量、置信度、分類得分，根據(jù)置信度判斷目標是否為背景，如果不是背景則根據(jù)分類得分判斷類別，再根據(jù)目標框偏移量判斷目標實際位置；所有目標框最后會經過非極大值抑制消除冗余目標框，得到最終的預測結果；

步驟四：通過訓練集訓練網絡模型并在訓練過程中使用驗證集對模型進行驗證；最后通過測試集評估網絡性能。

2.根據(jù)權利要求1所述的基于多層特征融合的車輛檢測方法，其特征在于，步驟一中的數(shù)據(jù)集獲取通過提取coco2017數(shù)據(jù)集中的車輛類別得到，將coco2017-train中提取的車輛圖片90％作為訓練集，10％作為驗證集，將coco2017-test中提取的車輛圖片作為測試集。

3.根據(jù)權利要求1所述的基于多層特征融合的車輛檢測方法，其特征在于，步驟二中的針對訓練集中車輛的尺寸重新設計先驗框大小包含如下步驟：

(1)隨機選取九個框作為聚類中心框；

(2)計算真實框和聚類中心框的距離，公式如下：

d(B,C)＝1-IOU(B,C)

其中B代表真實框，C代表聚類中心框，IOU代表交并比，d代表聚類中心心框和真實框的距離；將真實框劃分到距離最近的一個簇中；

(3)所有真實框劃分完畢后，對每個簇重新計算聚類中心；

(4)重復步驟(2)和(3)，直到聚類中心收斂，將9個聚類中心作為先驗框。

4.根據(jù)權利要求1所述的基于多層特征融合的車輛檢測方法，其特征在于，步驟四包括如下步驟：

訓練集包含14643張圖片，驗證集包含1627張圖片，輸入尺寸為608×608×3，通過訓練集訓練網絡模型，并通過驗證集驗證網絡性能；在網絡收斂后，保存訓練好的模型，并通過測試集進行測試。