[發明專利]一種基于深度學習的目標檢測方法、系統及存儲介質

有效

• 申請號: 202010798762.6
• 申請日: 2020-08-11
• 公開（公告）號: CN111680689B
• 公開（公告）日: 2021-03-23
• 發明（設計）人: 馬衛飛;袁飛楊;張勝森
• 申請（專利權）人: 武漢精立電子技術有限公司;武漢精測電子集團股份有限公司
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/62;G06N3/04;G06T7/00;G01N21/88
• 代理公司: 武漢東喻專利代理事務所(普通合伙) 42224
• 代理人: 雷霄

本發明公開了一種基于深度學習的目標檢測方法、系統及存儲介質。該方法中的訓練包括步驟：提取訓練樣本的特征映射圖；對所述特征映射圖進行ROI區域提取，獲得正矩形ROI區域的特征圖像；對所述正矩形ROI區域進行坐標變換，獲得對應的斜矩形ROI區域的特征圖像；計算所述斜矩形ROI區域的特征圖像與真實標記框的IOU值，將所述IOU值與閾值進行比較確定正樣本和負樣本，所述閾值為動態調整的值；將所述正樣本的所述斜矩形ROI區域的特征圖像轉換為對應的正矩形ROI區域的特征圖像；根據轉換后的正矩形ROI區域的特征圖像輸出檢測結果。本發明能夠提高目標檢測準確率，適用于傾斜目標的檢測，尤其適用于面板缺陷檢測領域。

技術領域

本發明屬于目標檢測技術領域，更具體地，涉及一種基于深度學習的目標檢測方法、系統及存儲介質。

背景技術

在AOI缺陷檢測中，檢測出來的邊界框（bounding box）是否貼合目標缺陷十分重要。檢測結果越貼合目標缺陷，人工對缺陷進行復判就越容易，檢測精度就越高。另外針對二階段的深度學習檢測框架，越貼合目標的邊界框，對于缺陷部分的特征提取也就越具有針對性。

如圖1所示，以目前缺陷檢測使用的二階段檢測網絡代表Faster R-CNN為例來說明現有技術中的深度學習檢測方法。Faster R-CNN檢測網絡主要分為用來特征提取的骨干網絡、區域候選網絡（RPN）和回歸分類網絡3個部分。RPN用來在從特征提取層得到的特征圖上截取形如(x, y, w, h)的建議區域，送入最后的回歸分類層，回歸分類在該建議區域上進一步得到最后的目標坐標和類別。

這種檢測方法中，輸出的邊界框坐標形式也是為(x, y, w, h)，邊界框是正矩形。這種方法在檢測一般缺陷時，輸出的邊界框能夠貼合目標缺陷。但是，在檢測一些長條或傾斜的缺陷例如劃傷、臟污等時，輸出的邊界框不能夠很好地貼合目標缺陷。此外RPN中得到的坐標框也為正矩形，所以送入最后的回歸和分類網絡的建議區域除了缺陷之外還帶有大量的背景特征，這對于回歸和分類是十分不利的。

發明內容

針對現有技術的至少一個缺陷或改進需求，本發明提供了一種基于深度學習的目標檢測方法、系統及存儲介質，可以能夠提高目標檢測準確率，適用于傾斜目標的檢測，尤其適用于面板缺陷檢測領域。

為實現上述目的，按照本發明的第一方面，提供了一種基于深度學習的目標檢測方法，包括將訓練樣本輸入到卷積神經網絡進行訓練的步驟以及利用訓練好的所述卷積神經網絡進行傾斜目標檢測的步驟，所述訓練包括步驟：

對訓練樣本進行特征提取，獲得所述訓練樣本的特征映射圖，所述訓練樣本被預先標記有目標標記框；

對所述特征映射圖進行ROI區域提取，獲得正矩形ROI區域的特征圖像；

對所述正矩形ROI區域進行坐標變換，獲得對應的斜矩形ROI區域的特征圖像；

計算所述斜矩形ROI區域的特征圖像與所述目標標記框的IOU值，將所述IOU值與閾值T進行比較確定正樣本和負樣本，所述閾值T被預先定義有一個預設閾值，動態調整所述閾值T，使得所述閾值T隨著所述目標標記框的長寬差距的增大而減小，隨著所述目標標記框的長寬差距的減小而增大；

將所述正樣本的所述斜矩形ROI區域的特征圖像轉換為對應的正矩形ROI區域的特征圖像；

根據轉換后的正矩形ROI區域的特征圖像輸出檢測結果。

優選地，所述閾值T滿足，所述T₀為預設閾值，w為所述目標標記框的長，h為所述目標標記框的寬。

優選地，所述預設閾值T₀為0.5。

優選地，預先定義統一的標記方式，按照所述標記方式對所述訓練樣本進行標記。