[發(fā)明專利]一種多目標(biāo)斑馬魚三維運(yùn)動(dòng)軌跡追蹤方法

在審

• 申請?zhí)枺?/td>: 202310088013.8
• 申請日: 2023-02-07
• 公開（公告）號: CN116188530A
• 公開（公告）日: 2023-05-30
• 發(fā)明（設(shè)計(jì)）人: 孫明竹;付振華;趙新;白云翔;馮喜增;張淑慧
• 申請（專利權(quán)）人: 南開大學(xué);南開大學(xué)深圳研究院
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/223;G06V10/34;G06V10/26;G06V10/50;G06V10/764;G06V10/82;G06N3/0464;G06N3/09
• 代理公司: 北京中普鴻儒知識(shí)產(chǎn)權(quán)代理有限公司 11822
• 代理人: 陳永秀

本發(fā)明提供了一種多目標(biāo)斑馬魚三維運(yùn)動(dòng)軌跡追蹤方法，該方法分別從俯視視角和側(cè)視視角拍攝魚缸內(nèi)多只斑馬魚的社交互動(dòng)行為，對俯視圖像利用深度學(xué)習(xí)方法檢測實(shí)例掩膜并細(xì)化得到初步骨架結(jié)果，對骨架結(jié)果進(jìn)行篩選和處理并提取得到追蹤的骨架頭部端點(diǎn)；用啟發(fā)式數(shù)據(jù)關(guān)聯(lián)算法實(shí)現(xiàn)幀間匹配，用SVM與HOG特征實(shí)現(xiàn)長軌跡段間的匹配，使用基于運(yùn)動(dòng)約束的關(guān)聯(lián)算法實(shí)現(xiàn)長短軌跡段的連接，完成俯視圖的二維追蹤；對側(cè)視圖像使用深度學(xué)習(xí)檢測方法確定可行域，然后通過目標(biāo)優(yōu)化函數(shù)及粒子優(yōu)化方法尋找與俯視圖目標(biāo)相匹配的最佳匹配點(diǎn)并進(jìn)行三角測量完成三維追蹤任務(wù)。本發(fā)明所述軌跡追蹤方法相比于現(xiàn)有方法數(shù)據(jù)完整度可提高5％～15％，追蹤誤匹配率可降低50％。

技術(shù)領(lǐng)域

本發(fā)明涉及動(dòng)物群體軌跡追蹤領(lǐng)域，具體涉及一種基于計(jì)算機(jī)視覺的多目標(biāo)斑馬魚三維運(yùn)動(dòng)軌跡追蹤方法。

背景技術(shù)

自動(dòng)化動(dòng)物軌跡追蹤方法對于生命科學(xué)實(shí)驗(yàn)行為分析具有重要作用。常見的模式動(dòng)物包括小鼠、果蠅和斑馬魚等，其中：斑馬魚以生長周期短、易于實(shí)驗(yàn)室飼養(yǎng)和觀察備受青睞。

目前，科學(xué)家們發(fā)明了多種自動(dòng)化斑馬魚運(yùn)動(dòng)軌跡的追蹤方法，主要包括以色彩標(biāo)記和RFID植入為代表的侵入式追蹤方法，以及以視覺方法為技術(shù)基礎(chǔ)的非侵入式追蹤方法。其中：非侵入式的追蹤方法因易于操作且對實(shí)驗(yàn)動(dòng)物干擾小的特點(diǎn)而應(yīng)用廣泛。但是，這種基于視覺的非侵入式斑馬魚追蹤方法一般只能追蹤單個(gè)目標(biāo)的三維運(yùn)動(dòng)軌跡或追蹤多個(gè)目標(biāo)的二維運(yùn)動(dòng)軌跡。因此，目前仍然沒有可靠方法能夠?qū)崿F(xiàn)三維多目標(biāo)斑馬魚骨架級的自動(dòng)化追蹤。這主要是由于斑馬魚是一種移動(dòng)速度快、角速度變化大的模式動(dòng)物，運(yùn)動(dòng)模型很難準(zhǔn)確預(yù)測其一段時(shí)間后的位置。此外，視頻采集視野中經(jīng)常發(fā)生多目標(biāo)的交叉遮擋及視圖中斑馬魚形變大不易檢測特征點(diǎn)。這些難點(diǎn)導(dǎo)致三維多目標(biāo)斑馬魚軌跡追蹤存在數(shù)據(jù)完整度低、追蹤結(jié)果誤匹配事件發(fā)生頻率高且無法應(yīng)用于生命科學(xué)實(shí)驗(yàn)場景的不足。

基于上述問題，設(shè)計(jì)一種數(shù)據(jù)完整度高、追蹤結(jié)果穩(wěn)定的多目標(biāo)斑馬魚三維運(yùn)動(dòng)軌跡追蹤方法很有必要。

發(fā)明內(nèi)容

本發(fā)明基于現(xiàn)有以視覺方法為基礎(chǔ)的非侵入模式動(dòng)物追蹤方法應(yīng)用于多目標(biāo)斑馬魚運(yùn)動(dòng)軌跡追蹤時(shí)存在的上述缺陷與不足，提供了一種能夠克服視頻采集視野中多目標(biāo)交叉遮擋情形的干擾，數(shù)據(jù)完整度高且追蹤結(jié)果穩(wěn)定的多目標(biāo)斑馬魚三維運(yùn)動(dòng)軌跡追蹤方法。

本發(fā)明解決上述技術(shù)問題所采用的技術(shù)方案是：一種多目標(biāo)斑馬魚三維運(yùn)動(dòng)軌跡追蹤方法，包括步驟如下：

S1，從俯視角度及側(cè)視角度同步對若干只斑馬魚的社交互動(dòng)行為進(jìn)行視頻采集；

S2，通過基于深度學(xué)習(xí)的圖像分割方法對從俯視角度拍攝得到的若干視頻圖像分別進(jìn)行實(shí)例分割，得到每只斑馬魚實(shí)例的掩膜二值圖，并利用圖像細(xì)化方法分別對掩膜進(jìn)行細(xì)化得到斑馬魚初步骨架結(jié)果；

S3，對步驟S2處理得到的若干初步骨架結(jié)果進(jìn)行篩選和處理，剔除交叉場景中分割錯(cuò)誤的骨架結(jié)果，并將其余正確及糾正后的骨架結(jié)果保存為正樣本，然后對所有正樣本分別進(jìn)行頭部檢測確定骨架結(jié)果中斑馬魚的頭部端點(diǎn)；

S4，使用基于最小歐式距離的啟發(fā)式數(shù)據(jù)關(guān)聯(lián)算法對步驟S3獲得的所有時(shí)序性連續(xù)正樣本進(jìn)行幀間匹配，獲得每個(gè)目標(biāo)斑馬魚的初始無交叉軌跡拼接片段，并將時(shí)間長度等于1幀的定義為短軌跡段，長度大于1幀的定義為長軌跡段；

S5，對斑馬魚背部上半部分軀體的剛體區(qū)域提取改進(jìn)的HOG特征圖，并選擇最長不交叉時(shí)間段內(nèi)多目標(biāo)的HOG特征并訓(xùn)練SVM，用訓(xùn)練好的模型推測所有長軌跡段分屬不同斑馬魚個(gè)體的概率，并利用匈牙利匹配算法根據(jù)軌跡段匹配概率和時(shí)序關(guān)系實(shí)現(xiàn)多目標(biāo)長軌跡段的連接，完成二維追蹤；

S6，使用基于運(yùn)動(dòng)約束的數(shù)據(jù)關(guān)聯(lián)算法將短軌跡段與長軌跡段進(jìn)行連接，完成二維多目標(biāo)追蹤；