[發明專利]一種多目標斑馬魚三維運動軌跡追蹤方法

在審

• 申請號: 202310088013.8
• 申請日: 2023-02-07
• 公開（公告）號: CN116188530A
• 公開（公告）日: 2023-05-30
• 發明（設計）人: 孫明竹;付振華;趙新;白云翔;馮喜增;張淑慧
• 申請（專利權）人: 南開大學;南開大學深圳研究院
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/223;G06V10/34;G06V10/26;G06V10/50;G06V10/764;G06V10/82;G06N3/0464;G06N3/09
• 代理公司: 北京中普鴻儒知識產權代理有限公司 11822
• 代理人: 陳永秀

1.一種多目標斑馬魚三維運動軌跡追蹤方法，其特征在于，包括步驟如下：

S1，從俯視角度及側視角度同步對若干只斑馬魚的社交互動行為進行視頻采集；

S2，通過基于深度學習的圖像分割方法對從俯視角度拍攝得到的若干視頻圖像分別進行實例分割，得到每只斑馬魚實例的掩膜二值圖，并利用圖像細化方法分別對掩膜進行細化得到斑馬魚初步骨架結果；

S3，對步驟S2處理得到的若干初步骨架結果進行篩選和處理，剔除交叉場景中分割錯誤的骨架結果，并將其余正確及糾正后的骨架結果保存為正樣本，然后對所有正樣本分別進行頭部檢測確定骨架結果中斑馬魚的頭部端點；

S4，使用基于最小歐式距離的啟發式數據關聯算法對步驟S3獲得的所有時序性連續正樣本進行幀間匹配，獲得每個目標斑馬魚的初始無交叉軌跡拼接片段，并將時間長度等于1幀的定義為短軌跡段，長度大于1幀的定義為長軌跡段；

S5，對斑馬魚背部上半部分軀體的剛體區域提取改進的HOG特征圖，并選擇最長不交叉時間段內多目標的HOG特征并訓練SVM，用訓練好的模型推測所有長軌跡段分屬不同斑馬魚個體的概率，并利用匈牙利匹配算法根據軌跡段匹配概率和時序關系實現多目標長軌跡段的連接，完成二維追蹤；

S6，使用基于運動約束的數據關聯算法將短軌跡段與長軌跡段進行連接，完成二維多目標追蹤；

S7，通過Faster?RCNN方法分別檢測出步驟S1采集得到的側視圖像中每個斑馬魚實例的魚身區域，并通過目標優化函數以及粒子優化方法在每個斑馬魚實例的魚身區域內找到與俯視目標相匹配的最優匹配點；

S8，將找到的最優匹配點與對應斑馬魚實例俯視圖像中的頭部和骨架結果進行三角測量，計算得到對應斑馬魚的三維骨架坐標，并將二維的身份信息繼承到三維，實現三維多目標斑馬魚骨架級追蹤。

2.根據權利要求2所述的多目標斑馬魚三維運動軌跡追蹤方法，其特征在于，步驟S3中，通過骨架分析及處理策略對步驟S2處理得到的若干初步骨架結果進行篩選和處理，所述骨架分析及處理策略具體包括如下五個約束條件：

(a)單一斑馬魚分割實例中，骨架分支數量大于3，將該骨架結果判定為負樣本，并剔除；

(b)對于單一斑馬魚分割實例中，骨架分支數量等于3的骨架結果進行去骨刺并保存為正樣本；其中：所述骨刺為最短的骨架分支；

(c)發生骨架交叉的兩個實例為負樣本，并剔除；

(d)若兩個實例的掩膜接觸，且其中的一個實例被上述條件判定為負樣本，則另一個實例也被判定為負樣本，并剔除；

(e)其它實例樣本均為正樣本，并保留。

3.根據權利要求2所述的多目標斑馬魚三維運動軌跡追蹤方法，其特征在于，所述骨架分析及處理策略中，骨架分支的數量及長度通過以下方式確定：通過設定的濾波核分別對步驟S2處理得到的若干骨架結果二值圖進行濾波操作，從而篩選出骨架的端點及交叉點；然后，使用Freeman鏈碼的形式從每一個端點開始編碼，沿著骨架的方向，當遇到交叉點時認為該骨架分支結束，進而確定單一斑馬魚分割實例中骨架分支的數量及各個骨架分支的長度。

4.根據權利要求3所述的多目標斑馬魚三維運動軌跡追蹤方法，其特征在于，步驟S3中，所述頭部檢測具體方法為：將篩選及處理得到的若干保存為正樣本的骨架結果分別進行濾波操作找到骨架的兩個端點，分別選擇以該兩個端點為中心的窗口矩陣在掩膜上取值，計算該窗口的協方差矩陣的特征值，特征值大的定義為斑馬魚骨架的頭部端點。