[發明專利]一種基于深度學習的近岸海底魚類檢測、跟蹤統計方法

在審

• 申請號: 202110232509.9
• 申請日: 2021-03-03
• 公開（公告）號: CN112598713A
• 公開（公告）日: 2021-04-02
• 發明（設計）人: 李培良;劉韜;顧艷鎮;劉浩楊;李琳
• 申請（專利權）人: 浙江大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/277;G06T7/11;G06T5/40;G06T5/00;G06T3/40;G06N3/08;G06N3/04
• 代理公司: 北京華創智道知識產權代理事務所(普通合伙) 11888
• 代理人: 彭隨麗

本發明公開了一種基于深度學習的近岸海底魚類檢測、跟蹤統計方法，本發明通過對輸入的水下實時視頻進行基礎神經網絡YOLOv5處理，來提取處視頻中的特征，跟蹤分支輸出魚的位置、種類和每個被跟蹤魚的ID編號，用檢測分支校正跟蹤分支的輸出作為最后的輸出，并由此得出每張圖片中的魚的位置、類別、編號。本發明利用粒子濾波和KM算法來匹配每幀之間的結果，從而對視頻中魚的編號進行匹配。

技術領域

本發明涉及海底探索、檢測領域，具體涉及一種基于深度學習的近岸海底魚類檢測、跟蹤統計方法。

背景技術

海洋有非常豐富的生物資源；因此，沿海國家正在大力發展海洋牧場，特別是漁業增養殖型海洋牧場。聯合國糧食及農業組織，聯合國糧農組織記錄了2016年海洋牧場的全球食用魚產量為2870萬噸（674億美元），產量占2016年世界水產養殖總產量的49.5%。當前，近海捕魚正在被過度開發，水產養殖業也正處于飽和狀態；因此，海洋牧場經營被認為是解決漁業資源下降的重要途徑。然而，海洋牧場經營也存在一些問題（如過度捕撈、生態系統失衡等）。通過加強對水下生物資源的監測，可以根據水下生物資源的變化來控制捕撈的時機和強度，從而解決上述問題。對于海洋牧場來說，實時監測生物數量可以形成科學漁業管理和可持續魚類生產的保護策略的基礎。此外，魚類資源統計數據有助于研究人員了解物種豐富度，相應的魚類資源統計數據可以結合當地的海況進行分析，從而確定適合每個物種生存的條件。因此，該技術具有重要的現實意義。

在過去十年中，漁業管理領域引入了幾種跟蹤和檢測方法。在檢測算法中，傳統的研究方法是通過融合多傳感器和多特征信息提取水下目標的精細特征。例如，Ishibashi等人利用光學傳感器獲取水下目標的特定圖像。Saini和Biswas通過使用自適應閾值檢測邊緣來檢測目標。目前主流的方法是使用水下攝像機捕捉物體，深度學習算法提取特征。Faster-RCNN和Resnet等深度學習算法已應用于水下生物識別過程，如海參識別（Xia etal.，2018）和魚類檢測算法（CN202010003815.0）。這種檢測算法的主要問題是無法識別兩幀中的魚是否是同一動物；因此，需要一個跟蹤模型。在跟蹤算法中，傳統的濾波方法，如粒子濾波、光流法和目標分割，是主要的方法，它們主要是在受控條件下進行測試，如在一個受限的實驗室環境中。例如，Chuang利用對象分割和對象高度塊體立體匹配來跟蹤魚。該方法將魚分成多個部分進行匹配，忽略了魚的整體特征。Sun提出了一種具有多個靜態攝像機和重疊視場的水下監視系統的一致魚類跟蹤策略。采用加速魯棒特征技術和質心坐標同形映射技術捕獲魚類。然而，這種方法不能識別魚的種類。Romero-Ferrero提出了一種自動方法，以跟蹤小或大的無標記動物群體中的所有個體。他們的算法對100人以下的群體具有很高的準確率；然而，這種方法必須在理想的實驗室環境中執行。Meng-Che提出了一種魚類分割與跟蹤算法，該算法通過對雙局部閾值圖像采用直方圖反投影的方法，克服了對比度低的問題，保證了魚類形狀邊界的精確分割。然而，使用這種方法，魚的突然移動可能會導致跟蹤失敗。此外，該算法過于復雜，難以實現實時跟蹤。

近年來，人們提出了幾種利用機器視覺技術跟蹤魚類豐度和實現魚類種群自動計數的方法。例如，Song等人（2020）提出了一種基于混合神經網絡模型的魚類自動計數方法，以實現遠洋鮭魚養殖中實時、準確、客觀、無損的魚類種群計數。其采用多列卷積神經網絡作為前端，捕捉不同感受野的特征信息。同時，后端采用更寬更深的擴張型卷積神經網絡，以減少網絡傳輸過程中空間結構信息的損失。最后，構建了混合神經網絡模型。然而，這種方法的主要局限性是將魚視為顆粒，不能對魚的類型進行分類。Marini等人（2018）開發了一種基于遺傳規劃的基于內容的圖像分析方法。然而，當大量魚類聚集在攝像機前時，擁擠的場景限制了識別效率。當這些聚集特別密集時，個體通常會相互重疊，這增加了假陰性率。

發明內容