[發明專利]一種基于視覺的彈孔檢測方法及系統

在審

• 申請號: 202110997123.7
• 申請日: 2021-08-27
• 公開（公告）號: CN113763471A
• 公開（公告）日: 2021-12-07
• 發明（設計）人: 張文廣;余新洲;陳雨杭;徐曉剛;王軍
• 申請（專利權）人: 之江實驗室;浙江工商大學
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/45;G06T7/33;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州浙科專利事務所(普通合伙) 33213
• 代理人: 楊小凡

1.一種基于視覺的彈孔檢測方法，其特征在于包括如下步驟：

S1，獲取打靶彈孔圖像數據集，并標注彈孔；

S2，構造卷積特征與紋理特征深度融合網絡并進行訓練，包括如下步驟：

S21，對打靶圖像的圖像張量進行多層劃片，然后重新組合；

S22，將重新組合的圖像張量，輸入類殘差結構，進行高層語義信息的提取；

S23，采用單尺度目標回歸子網絡，通過回歸得到的坐標，得到疑似彈孔區域，對疑似彈孔區域提取紋理特征，并與輸入單尺度目標回歸子網絡后的卷積特征進行融合，經過通道注意力機制進行特征優選，將優選后的特征進行彈孔和非彈孔二分類，通過二分類結果與標注彈孔，進行深度融合網絡的訓練；

S3，基于訓練好的深度融合網絡進行推理，獲取單幀圖像彈孔檢測結果；

S4，基于多幀圖像的檢測結果構建當前幀圖像的彈孔積分圖；

S5，基于所述的當前幀圖像彈孔積分圖與前一幀圖像的彈孔積分圖進行配準并進行幀差，最終獲取當前幀的新增彈孔。

2.根據權利要求1所述的一種基于視覺的彈孔檢測方法，其特征在于所述S1中使用矩形框對打靶圖像的彈孔進行標注；所述S23中的單尺度目標回歸子網絡，通過回歸得到的坐標，確定疑似彈孔目標框(X,Y,W,H)，其中X，Y分別表示疑似彈孔目標框的中心坐標，W，H分別表示疑似彈孔目標框的寬和高；對疑似彈孔目標框提取紋理特征；將優選后的特征進行二分類，得到彈孔和非彈孔的二分類置信度，通過二分類結果得到的預測彈孔目標框與標注彈孔矩形框，進行深度融合網絡的訓練。

3.根據權利要求1所述的一種基于視覺的彈孔檢測方法，其特征在于所述S23中，對得到的疑似彈孔區域進行擴充裁剪，對裁剪的疑似彈孔區域提取紋理特征，裁剪后的疑似彈孔區域的圖像用f(x,y),[x∈(0,M-1)；y∈(0,N-1)]表示，其中M為該區域的像素寬度，N為該區域的像素高度，該區域的灰度共生矩陣用P(i,j,d,θ)表示，其中i表示灰度共生矩陣的x軸下標，j表示灰度共生矩陣的y軸下標，d表示兩個像素的距離，θ表示兩個像素的夾角；提取紋理特征，包括：提取紋理角二階矩、紋理熵、對比度、均勻性、X軸梯度、Y軸梯度；

紋理角二階矩表示為

紋理熵表示為

對比度表示為

均勻性用逆差分矩陣表示；

該區域的X軸梯度用f₅表示，Y軸梯度用f₆表示；

將提取的紋理特征拍扁到一維度并進行拼接，得到該區域的紋理特征矩陣f＝[f₁,f₂,f₃,f₄,f₅,f₆]。

4.根據權利要求1所述的一種基于視覺的彈孔檢測方法，其特征在于所述S23中，采用GIOULoss作為彈孔區域的損失函數，采用交叉熵損失函數L來評價彈孔的分類：

其中，A和B分別表示預測的彈孔區域和真實的彈孔區域，C表示能包住A與B的最小矩形，N表示樣本個數，y_i表示第i個樣本的分類類別，p_i表示第i個樣本的預測正確概率，最后總的損失函數為兩個損失函數之和。

5.根據權利要求1所述的一種基于視覺的彈孔檢測方法，其特征在于所述S2中，將打靶圖像縮放至固定尺寸，并進行3通道灰度歸一化，再將打靶圖像的圖像張量從RBG空間轉換為RGBP空間，并將轉換后的圖像張量作為S21的輸入。