[發明專利]一種基于前視聲納圖像和AUV平臺的水下漁網檢測方法

有效

• 申請號: 202011424627.1
• 申請日: 2020-12-09
• 公開（公告）號: CN112526524B
• 公開（公告）日: 2022-06-17
• 發明（設計）人: 秦日霞;何波
• 申請（專利權）人: 青島澎湃海洋探索技術有限公司
• 主分類號: G01S15/89
• 分類號: G01S15/89;G06T3/40;G06T3/60;G06K9/62;G06N3/04
• 代理公司: 青島匯智海納知識產權代理有限公司 37335
• 代理人: 王丹丹;雷斐

1.一種基于前視聲納圖像和AUV平臺的水下漁網檢測方法，具體步驟如下：

步驟A、通過搭載在AUV上的多波束前視聲納采集并獲取前視聲吶原始數據包；

步驟B、對步驟A中所獲得的前視聲吶原始數據包進行實時解析，得到原始聲納數據矩陣，并對原始聲吶數據矩陣進行插值，獲得完整的扇形前視聲納圖像；

步驟C、將扇形前視聲納圖像傳輸到AUV平臺上的GPU模塊；

步驟D、GPU模塊接收到扇形前視聲納圖像后，將扇形前視聲納圖像輸入到訓練好的基于深度學習的目標檢測模型中，實時進行漁網檢測，以得到漁網的位置和方位角；

其中，基于深度學習的目標檢測模型構建過程如下：

步驟D1、利用前視聲納采集漁網圖像做為訓練樣本，并使用標注工具對前視聲納圖像進行標注；

步驟D2、訓練樣本集預處理：以對前視聲吶圖像去噪并對前視聲吶數據集進行擴充；

步驟D3、將經步驟D2預處理后的數據作為訓練樣本，構建基于深度學習的目標檢測模型，其包括負責融合前視聲納圖像中不同層次的特征的特征提取模塊以及負責定位目標邊界框的預測模塊；

所述特征提取模塊包括初始模塊和編解碼模塊：

(1)所述初始模塊包括依次連接的7×7卷積層、歸一化層、激活層、3×3卷積層、歸一化層和激活層；輸入聲吶圖像經初始模塊依次作用得到輸出特征圖，所述輸出特征圖作為編解碼模塊的輸入特征圖；歸一化層的實現方式是IN+BN的方式，且IN與BN的通道數比例設置為1:1；

(2)所述編解碼模塊包括由MRF block堆疊成的用于特征提取的編碼器模塊和負責對特征圖進行上采樣并將其與對應的具有相同大小的特征圖進行融合的解碼器模塊：

所述MRF block包括A、B、C三種變體，而編碼器模塊包括依次連接的MRF block A、MRFblock B、MRF blockA、MRF block B、MRF block C；

以初始模塊的輸出作為輸入，依次經過編碼器模塊處理：

所述MRF block B包括一個殘差模塊和一個激活層，激活層采用線性激活函數；殘差模塊包括輸入層、1×1卷積層、雙分支結構、concatenate合并層、快捷連接和相加層；從1×1卷積層輸出的特征圖分別輸入雙分支結構的各個分支，進行完各自分支運算之后，在合并層進行合并，并將結果輸出至相加層，所述輸入層存在一條快捷連接通向相加層，相加層的輸出作為殘差模塊最終輸出；

所述解碼器模塊包括輸入層、1×1卷積層、上采樣層、相加層，以編碼器模塊的輸出特征圖作為輸入層，依次經過1×1卷積層、上采樣層并將結果輸出至相加層，在編碼器模塊中與輸出結果尺寸相同的特征圖存在一條快捷連接經1×1卷積層通向相加層，相加層的輸出作為解碼器模塊的輸出；

所述預測模塊包括三個分支：一個分支負責生成中心點熱圖來預測聲吶圖像中對象的中心點，包括一個3×3卷積層和一個通道數為數據集類別數的1×1卷積層；一個分支負責預測目標的寬度和高度，包括一個3×3卷積層和一個通道數為2的1×1卷積層；另一個分支負責預測每個中心點的局部偏移，包括一個3×3卷積層和一個通道數為2的1×1卷積層；

步驟E、將漁網的位置和方位角轉換成相應的系統指令反饋給AUV主控模塊，AUV根據檢測結果進行相應的避障決策。