[發(fā)明專利]針對霧天條件下的目標檢測方法和裝置

在審

• 申請?zhí)枺?/td>: 202010832364.1
• 申請日: 2020-08-18
• 公開（公告）號: CN111814753A
• 公開（公告）日: 2020-10-23
• 發(fā)明（設(shè)計）人: 陳海波;羅志鵬;徐振宇
• 申請（專利權(quán)）人: 深延科技（北京）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/36;G06K9/46;G06K9/62;G06N3/04
• 代理公司: 常州佰業(yè)騰飛專利代理事務(wù)所(普通合伙) 32231
• 代理人: 陳紅橋

1.一種針對霧天條件下的目標檢測方法，其特征在于，包括以下步驟：

獲取包含多個霧天圖像的原始數(shù)據(jù)集，并對所述原始數(shù)據(jù)集中的霧天圖像進行增強處理；

通過去霧算法對所述原始數(shù)據(jù)集中增強后的霧天圖像進行去霧操作，以得到去霧數(shù)據(jù)集；

構(gòu)建神經(jīng)網(wǎng)絡(luò)，其中，所述神經(jīng)網(wǎng)絡(luò)包括特征提取網(wǎng)絡(luò)和預(yù)測網(wǎng)絡(luò)，所述特征提取網(wǎng)絡(luò)包括可變形卷積網(wǎng)絡(luò)和特征金字塔網(wǎng)絡(luò)，所述預(yù)測網(wǎng)絡(luò)包括第一階段網(wǎng)絡(luò)和第二階段網(wǎng)絡(luò)，所述第二階段網(wǎng)絡(luò)包含雙分支結(jié)構(gòu)；

通過增強處理后的原始數(shù)據(jù)集和所述去霧數(shù)據(jù)集對所述神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，以得到目標檢測模型；

通過所述目標檢測模型對待檢測霧天圖像進行目標檢測。

2.根據(jù)權(quán)利要求1所述的針對霧天條件下的目標檢測方法，其特征在于，對所述原始數(shù)據(jù)集中的霧天圖像進行增強處理，包括：

對所述原始數(shù)據(jù)集中的霧天圖像進行隨機翻轉(zhuǎn)、隨機剪裁操作。

3.根據(jù)權(quán)利要求2所述的針對霧天條件下的目標檢測方法，其特征在于，所述去霧算法為FFANet。

4.根據(jù)權(quán)利要求1-3中任一項所述的針對霧天條件下的目標檢測方法，其特征在于，所述特征提取網(wǎng)絡(luò)為ResNeXt，所述第一階段網(wǎng)絡(luò)為RPN，所述第二階段網(wǎng)絡(luò)為Cascade RCNN。

5.根據(jù)權(quán)利要求4所述的針對霧天條件下的目標檢測方法，其特征在于，通過增強處理后的原始數(shù)據(jù)集和所述去霧數(shù)據(jù)集對所述神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，包括：

將所述原始數(shù)據(jù)集中的霧天圖像或所述去霧數(shù)據(jù)集中的去霧后圖像輸入ResNeXt，經(jīng)過stage2輸出特征圖F₂，將F₂輸入可變形卷積網(wǎng)絡(luò)輸出特征圖F_{d_2}，將F_{d_2}經(jīng)過stage3輸出特征圖F₃，將F₃輸入可變形卷積網(wǎng)絡(luò)輸出特征圖F_{d_3}，將F_{d_3}經(jīng)過stage4輸出特征圖F₄，將F₄輸入可變形卷積網(wǎng)絡(luò)輸出特征圖F_{d_4}，將F_{d_4}經(jīng)過stage5輸出特征圖F₅，將F₅輸入可變形卷積網(wǎng)絡(luò)輸出特征圖F_{d_5}，其中，F(xiàn)₂、F₃、F₄和F₅構(gòu)成特征金字塔網(wǎng)絡(luò)，之后，將F₅上采樣2倍，并與F₄執(zhí)行相加操作形成特征圖P₄；將P₄上采樣2倍，并與F₃執(zhí)行相加操作形成特征圖P₃；將P₃上采樣2倍，并與F₂進行相加操作形成特征圖P₂；將P₂上采樣2倍，并與F₁執(zhí)行相加操作形成特征圖P₁；

將特征圖P₁、P₂、P₃、P₄分別送入兩階段預(yù)測網(wǎng)絡(luò)中，第一階段網(wǎng)絡(luò)N₁分別預(yù)測n個anchor的前景背景得分信息，以及回歸偏移量信息，通過篩選前景得分中大于某個閾值Threshold的anchor，并且根據(jù)偏移量對其執(zhí)行回歸操作后，得到置信度較高的候選框，經(jīng)過NMS操作去重后，獲得較為準確的候選框proposal作為第二階段網(wǎng)絡(luò)N₂的基準框，之后，將這些不同大小的基準框映射到feature map上，然后對feature map進行采樣操作ROI Pooling將不同大小的feature采樣為相同大小的feature送入第二階段網(wǎng)絡(luò)N₂中；

第二階段網(wǎng)絡(luò)N₂包含三個級聯(lián)網(wǎng)絡(luò)Head₁、Head₂、Head₃，將經(jīng)過ROI Pooling后的feature首先送入Head₁網(wǎng)絡(luò)中，Head₁網(wǎng)絡(luò)分別對第一階段產(chǎn)生的proposal預(yù)測類別值category₁和回歸偏移量offset₁，經(jīng)過category₁篩選和偏移量offset₁回歸之后，生成第一級網(wǎng)絡(luò)Head₁中的目標框bounding box₁；將bounding box₁和經(jīng)過ROI Pooling后的feature送入Head₂網(wǎng)絡(luò)中，Head₂網(wǎng)絡(luò)分別對bounding box₁預(yù)測類別值category₂和回歸偏移量offset₂，經(jīng)過category₂篩選和偏移量offset₂回歸之后，生成第二級網(wǎng)絡(luò)Head₂中的目標框bounding box₂；將bounding box₂和經(jīng)過ROI Pooling后的feature送入Head₃網(wǎng)絡(luò)中，Head₃網(wǎng)絡(luò)分別對bounding box₂預(yù)測類別值category₃和回歸偏移量offset₃，經(jīng)過category₃篩選和偏移量offset₃回歸之后，生成第三級網(wǎng)絡(luò)中的目標框bounding box₃，即最終預(yù)測結(jié)果框。