[發明專利]一種基于實例分割的日本蟳群體行為視頻分析方法

有效

• 申請號: 202110883453.3
• 申請日: 2021-08-03
• 公開（公告）號: CN113326850B
• 公開（公告）日: 2021-10-26
• 發明（設計）人: 劉輝;逯文強;王清;冷惠文;趙建民;袁秀堂;趙業
• 申請（專利權）人: 中國科學院煙臺海岸帶研究所
• 主分類號: G06K9/38
• 分類號: G06K9/38;G06K9/62;G06N3/04;G06N3/08;G06T7/11;G06T7/246;G06T7/60;G06T7/66;G06T7/73
• 代理公司: 北京中濟緯天專利代理有限公司 11429
• 代理人: 潘劍敏

1.一種基于實例分割的日本蟳群體行為視頻分析方法，其特征在于，包括以下步驟：

步驟一、生物暫養與視頻采集；

步驟二、實例分割數據集建立：

（21）選擇圖像進行截圖保存；

（22）使用圖像標注軟件，對每張截圖中的全部日本蟳個體的輪廓進行多邊形標注，依次標記為ribenxun_i，i=1，2，...，N；該數據集記作D0；

（23）將數據集D0中多邊形標注框的標簽ribenxun_i，i=1，2，...，N，全部修改為ribenxun，新產生的數據集記作日本蟳整體分割數據集D1；

（24）基于數據集D0，依次裁剪出各日本蟳個體圖像，日本蟳輪廓外的像素點統一填充為0，獲得日本蟳個體圖片按照其ID號分別存放；

（25）使用圖像標注軟件，對上述圖片進行頭胸甲輪廓的多邊形標注，標注名稱依然為該日本蟳ID號，即ribenxun_i，i=1，2，...，N，此數據集記作頭胸甲分割數據集D2；

步驟三、日本蟳整體分割和頭胸甲分割模型的建立：

（31）使用數據集D1進行日本蟳整體實例分割模型的訓練和驗證；若模型訓練結果能夠接受，記為日本蟳整體分割模型M1；

（32）使用數據集D2進行頭胸甲實例分割模型的訓練和驗證；若模型訓練結果能夠接受，記為頭胸甲分割模型M2；

步驟四、日本蟳整體分割、頭胸甲分割及ID號判斷，依次讀取待分析視頻中的各幀圖像，人為設定日本蟳最大移動像素距離Smax，每一幀圖像處理的步驟如下：

（41）使用M1模型對當前幀圖像進行日本蟳整體分割，分割出的圖像記為RBX_j，j=1，2，...，N；

（42）利用M2模型依次對RBX_j進行頭胸甲分割，每個RBX_j的分割預測結果記為TXJ_k，k=1，2，...；

（43）根據所設定日本蟳最大移動像素距離Smax，進行TXJ_k錯誤分割結果的篩除；

（44）選擇置信度最高的預測結果中的標簽，作為當前RBX_j所對應的日本蟳ID；

（45）對該幀中所有日本蟳RBX_j進行ID分配后，若N個預測結果互不相同，則接受該幀預測，否則放棄該幀的預測結果并跳過對該幀的處理；

步驟五、日本蟳運動能力和接觸度評估：

（51）根據保存的每幀預測結果，將各日本蟳頭胸甲外接矩形框的中點連結則得到所對應的各日本蟳的運動軌跡；

（52）根據視頻中每一幀所分割的日本蟳整體RBX_j，j=1，2，...，N，計算N個實例分割結果中矩形框的兩兩之間的交并比，作為兩者間的接觸度的定量指標。

2.根據權利要求1所述基于實例分割的日本蟳群體行為視頻分析方法，其特征在于，所述步驟一，具體包括：

（11）日本蟳群體行為視頻采集前，在實驗室環境內暫養不少于48小時；選擇正常活動日本蟳個體于淺色水槽中進行群體行為研究，日本蟳數量記為N；

（12）采用俯視的方式對日本蟳群體行為進行視頻拍攝，視頻像素分辨率不小于720×480，幀率不小于7.5幀/秒。

3.根據權利要求1所述基于實例分割的日本蟳群體行為視頻分析方法，其特征在于，步驟（21）中，選擇不少于50幀圖像進行截圖保存，所截圖像應包含不同的日本蟳個體相對位置和姿態，并且所截取圖像中出現日本蟳互相接觸的圖像數量不低于25張。