[發明專利]基于神經網絡的圈養家畜多目標追蹤方法及裝置

在審

• 申請號: 202011562627.8
• 申請日: 2020-12-25
• 公開（公告）號: CN112581504A
• 公開（公告）日: 2021-03-30
• 發明（設計）人: 陳明;王豐;陶朝輝
• 申請（專利權）人: 南京通盛弘數據有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06N3/08
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 馮艷芬

1.一種基于神經網絡的圈養家畜多目標追蹤方法，其特征在于包括以下步驟：

建立多目標追蹤模型，所述多目標追蹤模型包括YOLOv3改進網絡、連接過渡層和DeepSort改進網絡，所述YOLOv3改進網絡包括YOLOv3網絡和目標特征數據獲取模塊，所述YOLOv3網絡輸出為目標坐標數據，所述目標特征數據獲取模塊用于從YOLOv3網絡中獲取目標特征數據，所述目標坐標數據直接輸入至Deep Sort改進網絡，所述連接過渡層用于對目標特征數據進行平均池化處理和歸一化處理得到目標的表觀特征數據，并輸入Deep Sort改進網絡，所述Deep Sort改進網絡省略了用于提取表觀特征的深度卷積神經網絡，從目標坐標數據中提取運動特征數據，并結合所述連接過渡層輸出的表觀特征數據進行目標匹配和追蹤；

獲取已有圈養家畜目標位置的若干圖像，作為訓練數據集對多目標追蹤模型進行訓練；

獲取家畜待追蹤視頻，將視頻的每一幀圖像輸入已經訓練好的多目標追蹤模型，實現每個家畜目標的追蹤。

2.根據權利要求1所述的基于神經網絡的圈養家畜多目標追蹤方法，其特征在于：所述目標特征數據獲取模塊獲取目標特征數據的步驟具體包括：

根據目標坐標數據中被識別目標所在候選框位置信息，獲取能夠包含候選框的最小整格框，作為目標特征框；

在YOLOv3網絡的特征提取網絡中的目標特征采集層提取尺度為26×26×512的特征數據集；

在目標特征框所在位置找到特征數據集中對應的特征信息，將其作為目標特征數據A_obj。

3.根據權利要求1所述的基于神經網絡的圈養家畜多目標追蹤方法，其特征在于：所述連接過渡層對所述目標特征數據的處理步驟具體包括：

平均池化處理：將尺度為P×Q×512的目標特征數據A_obj平均池化為1×1×512的一維數據a_obj，其中a_obj的第i個元素a_obj(i)為：

式中，P表示目標特征數據的第一尺度的維數，Q表示目標特征數據的第二尺度的維數，A_obj(s,j,i)表示A_obj中坐標為(s,j,i)的數據值；

歸一化處理：對一維數據a_obj進行L2歸一化處理得到目標的表觀特征數據a′_obj，其中a′_obj的第i個元素a′_obj(i)為：

4.根據權利要求1所述的基于神經網絡的圈養家畜多目標追蹤方法，其特征在于：所述Deep Sort改進網絡進行目標匹配和追蹤的步驟包括：

多特征融合的匈牙利目標匹配算法：利用Deep Sort中的卡爾曼濾波器從目標坐標數據中提取出運動特征數據，結合表觀特征數據，通過匈牙利算法對圖像中的目標進行ID匹配，從而實現追蹤；

動物目標的運動信息與活躍狀態信息：利用Deep Sort中的追蹤算法對每個目標進行信息捕捉與計算，得到的運動信息包含每個目標的當前運動速度、總的運動距離以及活躍運動時間的信息。

5.根據權利要求1所述的基于神經網絡的圈養家畜多目標追蹤方法，其特征在于：所述目標坐標數據具體為：

I_obj＝{x_obj,y_obj,w_obj,h_obj,t_obj,s_obj}

其中x_obj,y_obj,w_obj,h_obj分別代表被目標所在候選框的中心橫坐標、縱坐標、候選框寬度以及候選框的高度；t_obj,s_obj分別代表目標的標簽以及置信度。

6.一種基于神經網絡的圈養家畜多目標追蹤裝置，包括處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于：所述處理器執行所述程序時實現權利要求1-5中任意一項所述的方法。