[發明專利]一種應用于扇掃拼接的目標識別方法

在審

• 申請號: 202111497760.4
• 申請日: 2021-12-09
• 公開（公告）號: CN114241372A
• 公開（公告）日: 2022-03-25
• 發明（設計）人: 甘欣輝;馬長勝;陳幫;魯兵兵;黃磊;宋亮;姚連喜;萬韜;郭賀;張浩然;彭碩玲;程智林
• 申請（專利權）人: 江蘇和正特種裝備有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06T7/11;G06T3/40;G06N3/04;G06K9/62;G06V10/82;G06V10/80
• 代理公司: 江蘇圣典律師事務所 32237
• 代理人: 滕敏

1.一種應用于扇掃拼接的目標識別方法，其特征在于，所述方法包括以下內容：

步驟一，對實時拍攝的圖像幀篩選后使用神經網絡進行目標識別；

步驟二，采用針對圓形圖像區域的SURF算法對每一幀圖像進行扇掃拼接；

步驟三，通過拼接完成后的各幀圖像之間的相對位置，將每幀圖像的識別框疊加到拼接完成的圖像中進行顯示，將目標識別結果上報至相關節點并給出危險等級告警。

2.根據權利要求1所述的一種應用于扇掃拼接的目標識別方法，其特征在于，所述步驟一包括：

步驟1.1，將視頻分割為若干圖像幀，通過自適應關鍵幀檢驗算法在圖像幀中確定出關鍵幀，并篩選圖像場景發生非常規變化的幀；

步驟1.2，將篩選出的關鍵幀以及圖像場景發生非常規變化的幀輸入到神經網絡中進項目標識別。

3.根據權利要求2所述的一種應用于扇掃拼接的目標識別方法，其特征在于，所述神經網絡包含輸入層、骨架網絡以及頸部多尺度融合模塊：在輸入層使用mosaic數據增強方法，采取隨機縮放、隨機裁剪、隨機排布的方式創建由多張圖片裁剪拼接得到的新訓練集；骨架網絡根據CSPNet方法以及YOLOv3的骨架網絡DarkNet53設計的采用CSP結構跳層連接的CSPDarkNet53；頸部接收CSPDarkNet53中輸出的多尺度特征圖，通過空間池化金字塔層融合池化特征圖維持高層特征圖信息不丟失，同時使用PANet將高層特征圖特征融合到低層特征圖中保證最終識別頭接收到的特征圖張量包含骨架網絡提取到的所有特征。

4.根據權利要求2所述的一種應用于扇掃拼接的目標識別方法，其特征在于，采用Generalized Intersection over Union GIOU方法作為錨框的損失函數：

GIOU方法為：先計算兩個框的最小閉包面積A_c再計算交并比IOU和閉包區域中不屬于兩個框區域U的占閉包區域的比重的差：

5.根據權利要求1所述的一種應用于扇掃拼接的目標識別方法，其特征在于，所述步驟二包括：

步驟2.1，對圖像幀采用圓形切割區域提取SURF特征點；

步驟2.2，根據找到的特征點，計算出各圖像幀間的坐標轉換關系；

步驟2.3，對誤配點進行刪除，并將圖像幀進行融合。

6.根據權利要求2所述的一種應用于扇掃拼接的目標識別方法，其特征在于，所述步驟2.1具體為：

首先，用不同尺度的濾波器模板構建尺度空間提取特征點，通過Hessian矩陣確定關鍵點；然后，以特征點為中心，按像素點到特征點的距離賦予權重，越靠近中心點權重越大，統計扇形內的所有像素點的響應值之和，遍歷整個圓，選取最大值方向為該點的主方向，將坐標軸旋轉到主方向。

7.根據權利要求4所述的一種應用于扇掃拼接的目標識別方法，其特征在于，所述步驟2.2具體為：以特征點為中心作三個圓，將每個圓等分為8個子區域，在每一個子區域計算每個點所有坐標軸方向上的Haar小波響應值并用高斯分布加權，從而增強算法穩健性，然后計算每個子區域響應值之和及絕對值之和，歸一化每個子區域上的結果，對每個圓生成一個12維的特征描述符，其包含各圓形計算區域內的灰度值之和；

然后，設定三個半徑分別為r₁，r₂，r₃的圓形區域各自像素的灰度值之和分別為f₁，f₂，f₃，將其記為三維描述符：F＝(f₁，f₂，f₃)；將F＝(f₁，f₂，f₃)進行歸一化處理，得到一個3維向量，其每一維對應一個圓形區域的差分值計算半徑r₃的圓內像素點的二階梯度值及方向，并賦予以特征點為中心的高斯加權系數；

最后，計算8個方向的二階梯度和，生成一個8維向量，并進行歸一化，即生成一個26維的描述符。

8.根據權利要求5所述的一種應用于扇掃拼接的目標識別方法，其特征在于，采用加權平均法進行推向融合；

設f1和f2表示輸入圖像，f表示融合后圖像，(x，y)表示重合區域像素點坐標，則有：

式中，ω₁和ω₂表示權重，且ω₁+ω₂＝1，0＜ω₁＜1。