[發明專利]一種基于視覺的彈孔檢測方法及系統

在審

• 申請號: 202110997123.7
• 申請日: 2021-08-27
• 公開（公告）號: CN113763471A
• 公開（公告）日: 2021-12-07
• 發明（設計）人: 張文廣;余新洲;陳雨杭;徐曉剛;王軍
• 申請（專利權）人: 之江實驗室;浙江工商大學
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/45;G06T7/33;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州浙科專利事務所(普通合伙) 33213
• 代理人: 楊小凡

本發明公開了一種基于視覺的彈孔檢測方法及系統，方法包括：S1，獲取打靶彈孔圖像數據集并進行彈孔標注；S2，構造一種卷積特征與紋理特征深度融合的超輕量化網絡，并基于彈孔圖像數據，進行模型訓練得到檢測模型；S3，基于訓練得到的檢測模型進行推理，獲取單幀彈孔檢測結果；S4，基于多幀檢測結果，構建當前幀的彈孔積分圖；S5，基于當前幀彈孔積分圖與前一幀的彈孔積分圖，進行匹配和幀差，獲取當前幀的新增彈孔；系統包括：聚焦層、嵌套瓶頸層、卷積層，以及由單尺度目標回歸子網絡、紋理特征提取單元、特征融合與優選模塊構成的特征融合與單尺度目標回歸模塊；本發明降低了資源消耗，且檢測準確度、魯棒性好。

技術領域

本發明涉及圖像識別技術領域，尤其是涉及一種基于視覺的彈孔檢測方法及系統。

背景技術

在射擊訓練報靶設備技術領域，傳統的報靶方式主要有人工報靶，光電傳感器報靶以及近來使用較多的基于圖像的報靶系統。

人工報靶效率極低，且大部分情況下無法實時報靶；光電傳感器報靶方式雖然精度較高但其成本較高，且日常維護較為復雜；因此目前業界普遍使用基于視覺算法的報靶方式。基于視覺報靶方案的核心問題為如何精確地對新增的射擊彈孔進行檢測。目前主流的彈孔檢測方案均是使用幀差法或者多幀幀差法，該方法運算資源消耗較小，但是其對光照、抖動等干擾因子較敏感，導致基于幀差法的彈孔檢測準確率較低。基于深度學習的彈孔檢測獲得了較好的準確率，但是由于大部分的檢測網絡深度較大，消耗大量的計算資源，導致實際部署中需要配套成本較高的GPU或者其他AI計算硬件。

基于此，需要提供一種資源消耗較小且準確率、魯棒性較高的彈孔檢測方法。

發明內容

為解決現有方法的檢測率低及魯棒性較差的問題，針對幀差法對光照和抖動敏感問題，本發明提出了一個卷積特征和紋理特征融合的深度神經檢測網絡，采用單尺度Anchor進行彈孔的坐標回歸，通過多樣本訓練以及與紋理特征融合來降低光照變化對結果的影響；同時，還提出了一個基于彈孔積分圖的后處理算法，利用彈孔痕跡的不可逆特性，通過彈孔積分圖獲取結果量化灰度圖，再通過積分灰度圖配準后進行幀差來獲取新增彈孔坐標。具體技術方案如下：

一種基于視覺的彈孔檢測方法，包括如下步驟：

S1，獲取打靶彈孔圖像數據集，并標注彈孔；

S2，構造卷積特征與紋理特征深度融合的超輕量化網絡并進行訓練，包括如下步驟：

S21，對打靶圖像的圖像張量進行多層劃片，然后重新組合；

S22，將重新組合的圖像張量，輸入類殘差結構，進行高層語義信息的提取；

S23，采用基于單尺度目標回歸子網絡，通過回歸得到的坐標，得到疑似彈孔區域，對疑似彈孔區域提取紋理特征，并與輸入單尺度目標回歸子網絡后的卷積特征進行融合，經過通道注意力機制進行特征優選，將優選后的特征進行彈孔和非彈孔二分類，通過二分類結果與標注彈孔，進行深度融合網絡的訓練；

S3，基于訓練好的深度融合網絡進行推理，獲取單幀圖像彈孔檢測結果；

S4，在視頻中檢測中，基于多幀圖像的所述檢測結果構建當前幀的彈孔積分圖；

S5，基于所述的當前幀彈孔積分圖與前一幀的彈孔積分圖進行配準并進行幀差，最終獲取當前幀的新增彈孔。

進一步地，所述S1中使用矩形框對每張打靶圖像的彈孔進行標注，并標注為類別0；所述S23中的單尺度目標回歸子網絡，通過回歸得到的坐標，確定疑似彈孔目標框(X,Y,W,H)，其中X，Y分別表示疑似彈孔目標框的中心坐標，W，H分別表示疑似彈孔目標框的寬和高；對疑似彈孔目標框提取紋理特征；將優選后的特征進行二分類，得到彈孔和非彈孔的二分類置信度，分類結果0表示為彈孔，分類結果1表示為非彈孔，通過二分類結果得到的預測彈孔目標框與標注彈孔矩形框，進行深度融合網絡的訓練。