[發明專利]一種基于Mask R-CNN的斑馬魚形態學分類方法

在審

• 申請號: 202110633522.5
• 申請日: 2021-06-07
• 公開（公告）號: CN113409255A
• 公開（公告）日: 2021-09-17
• 發明（設計）人: 王楠;董公卿;林思劼
• 申請（專利權）人: 同濟大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/181;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 顧艷哲

本發明涉及一種基于Mask R?CNN的斑馬魚形態學分類方法，應用于斑馬魚形態學分類領域，針對現有斑馬魚形態學觀察方法非常耗時且評價標準不明確的問題，本發明首先獲取斑馬魚幼魚形貌表型圖像數據；使用imgaug進行數據擴增，搭建Mask R?CNN實例分割網絡對數據集進行訓練，將訓練好的模型用于斑馬魚幼魚形貌圖像的識別及形態學分類。與現有方法相比，本發明可實現對斑馬魚幼魚形貌圖像的快速識別和分類，完成對斑馬魚幼魚形態學的自動分析，能夠有效節約時間成本，幫助降低研究人員的主觀判斷誤差，實用性強、準確率高、普適性強。

技術領域

本發明涉及斑馬魚形態學分類領域，具體涉及一種基于Mask R-CNN的斑馬魚形態學分類方法。

背景技術

斑馬魚作為篩選環境有毒物質，人造化學物質和藥物的理想模式生物，其胚胎多被用在急性毒性篩選來評估化學物質的生物毒性。傳統的方法中，研究人員通過顯微鏡來觀察斑馬魚胚胎的發育情況，通過其毒性終點(死亡、孵化、發育延緩、畸形等形貌)來判斷化學物質對胚胎的影響程度。但在現有的斑馬魚形態學評價體系中，因為一個視野中通常同時存在多條運動的魚，要快速準確觀察并記錄其形貌特點并做出判斷需要耗費大量的時間和人力成本。且在相互獨立的研究中進行數據平行比較時，斑馬魚的形態評價基于不同研究人員的主觀判斷，由于人為先驗知識的影響將限制數據深度挖掘的可能性。隨著所需測試毒性的化學物質累積及圖像數據的爆發性增長，需要有一種能快速高效且能自動化分析斑馬魚胚胎形貌類別的圖像檢測方法。

專利CN111583207A公開了一種斑馬魚幼魚心臟輪廓確定方法，采集多張測試集斑馬魚幼魚顯微圖像和訓練集斑馬魚幼魚顯微圖像；將各訓練集斑馬魚幼魚顯微圖像進行裁剪處理，得到裁剪處理后的幼魚區域；對各幼魚區域進行橢圓擬合，得到斑馬魚幼魚心臟輪廓的特征點坐標；根據各幼魚區域和相應的特征點坐標進行卷積神經網絡的訓練；根據測試集斑馬魚幼魚顯微圖像對訓練后的網絡模型進行優化；將待預測的斑馬魚幼魚顯微圖像作為輸入輸入至優化后的網絡模型，得到待預測幼魚心臟輪廓的特征點坐標；根據待預測幼魚心臟輪廓的特征點坐標，確定斑馬魚幼魚心臟輪廓，然而，該專利僅用于在單次單條的條件下預測斑馬魚幼魚的心臟位置，功能較為局限；該專利在預測斑馬魚心臟位置前需要先手動截取斑馬魚幼魚的頭部部分，耗費人力；該專利通過預測橢圓形上的八個關鍵點來生成斑馬魚幼魚的心臟區域，不能精細的擬合各種形態下斑馬魚幼魚的心臟位置。本專利可以同時預測圖片中包含的所有斑馬魚幼魚的種類和輪廓掩碼；本專利可以直接對實驗拍攝的圖像進行處理，中間過程不再需要人工參與；本專利通過像素級的輪廓掩碼來預測斑馬魚幼魚的整體位置，精細程度高，不需局限于特定形態。

發明內容

本發明的目的就是針對斑馬魚形態學評價過程耗時且評價標準不明確的問題，基于現有的深度學習技術，提供一種基于Mask R-CNN的斑馬魚形態學分類方法，實現對斑馬魚形貌圖像的批量處理及形態學自動分類。

本發明的目的通過以下技術方案實現：

一種基于Mask R-CNN的斑馬魚形態學分類方法，包含以下步驟：

S1、獲取斑馬魚幼魚形貌表型數據，包括含有正常孵化、脊柱彎曲、心包水腫、孵化后壞死、尾部下彎、尾部上翹、卵黃延伸畸形、卵黃囊水腫八類常見形貌類型的斑馬魚幼魚圖像，建立斑馬魚幼魚形貌表型的圖像數據集；

S2、將斑馬魚形貌數據集依據7:3的比例劃分為訓練數據集和測試數據集，使用imgaug對訓練集中的斑馬魚形貌圖像進行預處理及數據增強，提高模型的魯棒性；

S3、搭建Mask-RCNN目標實例分割網絡模型，將正常孵化、脊柱彎曲、心包水腫、孵化后壞死、尾部下彎、尾部上翹、卵黃延伸畸形、卵黃囊水腫八圖像及標注信息輸入網絡進行訓練。模型使用ResNet-50作為骨干網絡，使用RPN和FPN進行多尺度的目標檢測和特征融合，通過ROI Align結構利用雙線性差值方法提高實例分割精度，將目標檢測、實例分割和分類預測分為三個Head同時進行訓練，從而實現對圖像中斑馬魚的目標實例分割；