[發明專利]一種基于機器視覺的海上風電安全監測與預警方法

在審

• 申請號: 202210178050.3
• 申請日: 2022-02-25
• 公開（公告）號: CN114529821A
• 公開（公告）日: 2022-05-24
• 發明（設計）人: 黃曙榮;朱昭云;程艷
• 申請（專利權）人: 鹽城工學院
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06V10/80;G06V10/82;G06N3/04;G06N3/08;G06N5/04
• 代理公司: 南京業騰知識產權代理事務所(特殊普通合伙) 32321
• 代理人: 賈鳳儀

1.一種基于機器視覺的海上風電安全監測與預警方法，其特征在于，包括如下步驟：

S1、獲取圖像：對采集的船舶圖像進行預處理，并標注包含多種類別的船舶圖像，建立一個包含多種類別的船舶檢測數據集；

S2、建立船舶檢測推理模型：以YOLOv5網絡作為基準網絡，分別對其主干網絡、Neck結構和檢測頭進行改進，在主干卷積中嵌入Transformer編碼器模塊，全局關注目標圖像特征塊之間的依賴關系；將網絡中標準特征融合PANet結構替換為雙向特征融合BiFPN結構；增加小尺寸船舶目標檢測頭分支；構建出改進型YOLOv5船舶檢測網絡，并以步驟S1獲得的數據集訓練該船舶檢測網絡，得到船舶檢測推理模型；

S3、模型識別：將需要檢測與識別的船舶圖片或視頻流輸入至步驟S2訓練好的船舶檢測推理模型，在輸出文件或者輸出視頻流中得到所有船舶的類別并框出坐標位置，對影響海上風電安全的船舶進行監測與預警。

2.根據權利要求1所述的基于機器視覺的海上風電安全監測與預警方法，其特征在于，步驟S1中標注包含多種類別的船舶圖像是利用LabelImg工具對收集的數據集進行標注，標注信息存儲為xml格式，標注信息主要包括圖片內船舶的位置坐標信息、尺寸信息和類別信息。

3.根據權利要求2所述的基于機器視覺的海上風電安全監測與預警方法，其特征在于，步驟S2中將步驟S1所有的標注文件由xml格式轉換為txt格式，并對坐標進行歸一化，完成后的txt文本包含目標類別、左上角坐標和右下角坐標，同時統一縮放為640*640像素尺寸，再將80％數據作為訓練集，20％數據作為驗證集，即可完成船舶檢測網絡訓練前的圖片處理。

4.根據權利要求3所述的基于機器視覺的海上風電安全監測與預警方法，其特征在于，步驟S2中在對改進型YOLOv5船舶檢測網絡進行訓練時，在GPU服務器上搭建訓練模型所需要的虛擬環境，完成后將訓練集輸入至改進型YOLOv5船舶檢測網絡進行目標檢測模型訓練，訓練完成后即可得到用于復雜背景下船舶小目標檢測的船舶檢測推理模型。

5.根據權利要求1所述的基于機器視覺的海上風電安全監測與預警方法，其特征在于，YOLOv5檢測網絡主要由Backbone特征提取網絡、特征融合Neck結構及Head檢測頭網絡組成，步驟S2中對該YOLOv5檢測網絡的改進包括：

a、在特征提取CSPDarknet53網絡末端嵌入Transformer編碼器模塊并維持網絡維度不變；

b、將Neck網絡的PANET結構替換為雙向特征融合BiFPN結構；

c、將Head檢測頭網絡改進為四檢測頭結構，骨干網絡中的160*160像素尺寸的特征圖層引出一條分支，在BiFPN最高維度80*80像素尺寸的特征圖進行上采樣操作同樣引出一條160*160像素尺寸分支，兩條分支進行合并操作后輸入至Bottleneck結構整合特征圖并送入1*1像素尺寸的卷積核進行輸出；

將修改后的各結構和模塊按照原YOLOv5網絡形式順序堆疊，得到改進型YOLOv5網絡。