[發明專利]一種自動對生物行為進行采集和跟蹤以及分析的系統

有效

• 申請號: 202010552186.7
• 申請日: 2020-06-17
• 公開（公告）號: CN111696138B
• 公開（公告）日: 2023-06-30
• 發明（設計）人: 朱躍生;郭標;翁振宇;羅桂波;潘旭
• 申請（專利權）人: 北京大學深圳研究生院
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/187;G06T7/194;G06T7/136;G06V10/44
• 代理公司: 廣州積特知識產權代理事務所(普通合伙) 44640
• 代理人: 李嘉怡

1.一種自動對生物行為進行采集和跟蹤以及分析的系統，其特征在于，所述系統包括：

多模式視頻數據采集系統，包括正面透明且上方無蓋的實驗生物承載平臺、兩個攝像頭、照明燈、一個可透氣且可開合的暗箱，以及控制器和計算機，所述多模式視頻數據采集系統用于采集黑暗模式、燈光模式、自然光照模式下的生物行為視頻數據；

多目標跟蹤系統，包括前景提取模塊、生物目標數量計算模塊、錨點提取模塊、單個目標橢圓適配及跟蹤模塊、多個目標接觸過程跟蹤模塊，以及軌跡生成模塊，所述多目標跟蹤系統用于跟蹤單個生物的形態和軌跡、多個生物的形態和軌跡以及多個生物相互接觸期間的形態和軌跡；和

生物行為分析系統，包括橢圓模型參數提取模塊、交互行為特征設計模塊和行為識別模塊，所述生物行為分析系統用于分析多個生物非接觸時的行為以及接觸時的行為，

其中所述兩個攝像頭均帶有夜視功能，一個攝像頭固定于所述實驗生物承載平臺上方并正對所述實驗生物承載平臺，另一個攝像頭固定于所述實驗生物承載平臺前方并正對所述實驗生物承載平臺，所述照明燈置于所述實驗生物承載平臺的無蓋面的四角，所述照明燈開啟時，燈光直射所述實驗生物承載平臺的底部，所述兩個攝像頭同時采集到的圖像數據被合并為一幀數據，采集到的數據自動實時保存，每個設定時段的視頻保存為一個單獨的視頻文件，

其中所述前景提取模塊用于將未放入生物目標之前采集到的圖像設為背景圖像B；將采集的生物視頻的每一幀圖像M與背景圖像B分別幀差并二值化得到分割圖像序列seg[m](m＝1～M)，二值化閾值設定為50；對分割圖像序列的每一幀進行開操作，并對圖像中連通區域像素面積小于閾值minArea的區域去除，

所述生物目標數量計算模塊用于將相鄰兩幀中，有重疊的連通區域設置為關聯區域，即：

其中，I(·)表示像素個數，comp表示連通區域，λ為系數；

所述生物目標數量計算模塊還用于在獲得所有前景區域的關聯后，隨機選取10幀，設置幀中連通區域與目標總數相等的連通區域目標數量為1，根據連通區域的關聯性，計算所有幀中每一個連通區域的目標數量，

所述錨點提取模塊用于對連通區域提取邊緣輪廓，得到逆時針的輪廓點集合C，對每個輪廓上點計算曲率，曲率的計算采用如下公式：

其中是向量的方向，取值范圍為(-π,π],同樣α的取值范圍也為(-π,π]，p⁺點是p點逆時針方向相隔k的點，p^-點是p點順時針方向相隔k的點，k為常數，在本發明中，取0.1|C|；

所述錨點提取模塊還用于獲取曲率最大的點作為尖銳錨點，相鄰兩個尖銳錨點之間等間隔取點，得到側邊邊緣錨點，尖銳錨點與側邊邊緣錨點組成錨點集合A，

所述單個目標橢圓適配及跟蹤模塊用于將所有錨點集合A，采用最小二乘法對輪廓點進行橢圓擬合，獲得橢圓模型參數:

s＝(x,y,a,b,γ)

其中，x,y為中心坐標，a為長半軸長度，b為短半軸長度，γ為方向。

2.根據權利要求1所述的系統，其特征在于，在黑暗模式下，所述實驗生物承載平臺置于所述暗箱內，所述暗箱閉合，所述照明燈關閉，所述攝像頭啟動夜視功能進行視頻數據采集；在燈光模式下，所述實驗生物承載平臺置于所述暗箱內，所述暗箱閉合，所述照明燈開啟，所述攝像頭正常啟動并進行視頻數據采集；在自然光照模式下，所述實驗生物承載平臺置于所述暗箱內且所述暗箱打開，或者所述實驗生物承載平臺置于所述暗箱外，所述照明燈關閉，所述攝像頭正常啟動并進行視頻數據采集。

3.根據權利要求1所述的系統，其特征在于，所述多個目標接觸過程跟蹤模塊用于將相鄰兩幀的錨點集合A_t和A_t+1采用兩步匹配算法進行錨點的二分圖匹配，第一步匹配尖銳錨點，第二步匹配側邊邊緣錨點，匹配完成后分配A_t+1中錨點的身份；

將A_t+1中的相同身份的錨點采用最小二乘法進行橢圓擬合，獲得橢圓參數；

依據錨點與橢圓的距離，重新調整A_t+1中錨點的身份；以及

一幀一幀地進行前述的操作，直至接觸過程的所有幀都匹配完全，最終采用錨點的身份分配結果實現目標身份匹配。