[發明專利]一種基于深度學習的抗遮擋與多尺度死魚識別系統與方法

有效

• 申請號: 202110653176.7
• 申請日: 2021-06-11
• 公開（公告）號: CN113420759B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 楊明東;張先奎;陳靜;楊勇;周紅坤;楊飛
• 申請（專利權）人: 中國船舶重工集團公司七五0試驗場
• 主分類號: G06V10/30
• 分類號: G06V10/30;G06V10/774;G06V10/80;G06V10/25;G06T5/40;G06T3/60
• 代理公司: 昆明今威專利商標代理有限公司 53115
• 代理人: 賽曉剛

1.一種基于深度學習的抗遮擋與多尺度死魚識別系統，其特征在于包括：

死魚識別數據集模塊，用于獲取并保存水下拍攝的水下圖像，用于構建死魚識別訓練集、驗證集與測試集；

圖像特征提取模塊，用于對水下圖像進行預處理，提取圖像底層邊緣和高層抽象特征圖；

多尺度特征加強模塊，用于通過串聯多個特征金字塔的方式，提高特征的多尺度表達能力；生成候選框對前景目標進行表示，并能自適應提取和融合不同尺度的區域候選框特征；所述多尺度特征加強模塊，包括多階段特征金字塔、跨階段連接單元及多尺度特征生成三個部分；跨階段連接單元將上一階段的特征傳播到下一階段，使當前特征能充分重利用之前的先驗知識，加強特征表達能力；所述多階段特征金字塔由多個特征金字塔串聯形成，將前一階段生成的特征金字塔的輸出作為下一階段特征金字塔的輸入，前面的特征金字塔表達淺層特征，后續的特征金字塔為深層特征，每個特征金字塔均包含豐富的多尺度信息；

抗遮擋模塊，用于通過注意力機制學習前景目標的掩碼，并與候選框特征進行融合，抑制背景的干擾，得抗遮擋特征；

死魚目標識別模塊，用于以候選框特征為初始起點，結合抗遮擋特征和全連接層，回歸表征死魚位置的旋轉矩形框，并進行死魚類別分類，完成死魚目標識別。

2.根據權利要求1所述的抗遮擋與多尺度死魚識別系統，其特征在于：所述死魚識別數據集模塊，包括死魚類、活魚類、背景類三大類別數據，并分為訓練集、驗證集和測試集三個數據集；所述的圖像特征提取模塊，還用于設計對比度受限的自適應直方圖均衡算法進行圖像預處理，以改善圖像細節信息和局部對比度；所述圖像特征提取模塊包括ResNet、VGG、MobileNets或Efficient通用系列網絡，按系統處理實時性需求進行選擇。

3.根據權利要求1所述的抗遮擋與多尺度死魚識別系統，其特征在于：所述多尺度特征加強模塊，包括多階段特征金字塔、跨階段連接單元及多尺度特征生成三個部分，所述的多階段特征金字塔生成方式為首先將圖像特征提取模塊的輸出特征通過一個側向連接的1×1卷積，通道數降維至256，并用雙線性插值將高層低分辨率特征進行2倍上采樣；然后將上采樣后的特征與降低通道后的特征進行逐像素相加；最后使用3×3卷積融合相加后的特征圖，獲得當前的加強特征，重復上述步驟3次即生成單個由4層特征組成的特征金字塔。

4.根據權利要求3所述的抗遮擋與多尺度死魚識別系統，其特征在于：

所述的多尺度特征生成過程為，假設n個多階段特征金字塔表示為{P¹,P²,…,Pⁿ}，每個金字塔由4層特征{C¹,C²,C³,C⁴}組成，其步長分別為4,8,16,32，將各金字塔相同步長的特征層進行逐像素累加，輸出多尺度特征{F¹,F²,F³,F⁴}；其中，n設置為2或設置更大的n值。

5.根據權利要求4所述的抗遮擋與多尺度死魚識別系統，其特征在于：所述生成候選框包括RPN網絡和自適應ROIAlign算法單元；首先將RPN網絡輸出的候選框的置信度進行排序，進而去除置信度低的框，然后再進行后續NMS操作，以提升算法后處理速度；自適應ROIAlign算法單元，用于自適應池化不同特征層的特征并進行融合，先將生成的所有候選框均映射到所述的多尺度特征{F¹,F²,F³,F⁴}，并進行池化核為7×7的ROIAlign操作，然后將生成的特征進行映射后完成融合。