[發明專利]基于神經網絡的圈養家畜多目標追蹤方法及裝置

在審

• 申請號: 202011562627.8
• 申請日: 2020-12-25
• 公開（公告）號: CN112581504A
• 公開（公告）日: 2021-03-30
• 發明（設計）人: 陳明;王豐;陶朝輝
• 申請（專利權）人: 南京通盛弘數據有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06N3/08
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 馮艷芬

本發明公開了一種基于神經網絡的圈養家畜多目標追蹤方法及裝置，方法包括以下步驟：建立多目標追蹤模型，所述多目標追蹤模型包括YOLOv3改進網絡、連接過渡層和Deep Sort改進網絡，所述YOLOv3改進網絡增加了目標特征數據的獲取，所述Deep Sort改進網絡省略了表觀特征提取的神經網絡；獲取已有圈養家畜目標位置的若干圖像，作為訓練數據集對多目標追蹤模型進行訓練；獲取家畜待追蹤視頻，將視頻的每一幀圖像輸入已經訓練好的多目標追蹤模型，實現每個家畜目標的追蹤。本發明復雜度低，追蹤準確率高，追蹤速率高。

技術領域

本發明涉及計算機視覺人工智能技術領域，尤其涉及一種基于神經網絡的圈養家畜多目標追蹤方法及裝置。

背景技術

利用計算機視覺技術對家畜進行管理逐漸成為基于人工智能畜牧業的核心技術。目前基于計算機視覺技術的家畜養殖在視頻圖像上僅能夠獲取家畜的位置、識別家畜的種類，不能夠對視頻中每一個家畜目標進行追蹤。事實上，高效的AI家畜管理技術需要對家畜的運動特征進行持續捕捉與信息收集，宏觀的目標定位與種類識別不能關注到個體家畜的健康狀況。缺少多目標追蹤的家畜AI管理帶來了較高的家畜管理成本，不利于低成本的人工智能的家畜養殖的實現，高效的人工智能管理需要對監控視頻中的動物目標進行運動與活躍狀態的持續跟蹤。傳統的多目標追蹤算法基于圖片識別算法之上在時間復雜度性能與追蹤準確率性能有所欠缺，使得基于實時視頻的多目標追蹤算法難以滿足工業與實際的需求。

發明內容

發明目的：本發明針對現有技術存在的問題，提供一種復雜度低、準確率高的基于神經網絡的圈養家畜多目標追蹤方法及裝置。

技術方案：本發明所述的基于神經網絡的圈養家畜多目標追蹤方法包括以下步驟：

建立多目標追蹤模型，所述多目標追蹤模型包括YOLOv3改進網絡、連接過渡層和Deep Sort改進網絡，所述YOLOv3改進網絡包括YOLOv3網絡和目標特征數據獲取模塊，所述YOLOv3網絡輸出為目標坐標數據，所述目標特征數據獲取模塊用于從YOLOv3網絡中獲取目標特征數據，所述目標坐標數據直接輸入至Deep Sort改進網絡，所述連接過渡層用于對目標特征數據進行平均池化處理和歸一化處理得到目標的表觀特征數據，并輸入Deep Sort改進網絡，所述Deep Sort改進網絡省略了用于提取表觀特征的深度卷積神經網絡，從目標坐標數據中提取運動特征數據，并結合所述連接過渡層輸出的表觀特征數據進行目標匹配和追蹤；

獲取已有圈養家畜目標位置的若干圖像，作為訓練數據集對多目標追蹤模型進行訓練；

獲取家畜待追蹤視頻，將視頻的每一幀圖像輸入已經訓練好的多目標追蹤模型，實現每個家畜目標的追蹤。

進一步的，所述目標特征數據獲取模塊獲取目標特征數據的步驟具體包括：

根據目標坐標數據中被識別目標所在候選框位置信息，獲取能夠包含候選框的最小整格框，作為目標特征框；

在YOLOv3網絡的特征提取網絡中的目標特征采集層提取尺度為26×26×512的特征數據集；

在目標特征框所在位置找到特征數據集中對應的特征信息，將其作為目標特征數據A_obj。

進一步的，所述連接過渡層對所述目標特征數據的處理步驟具體包括：

平均池化處理：將尺度為P×Q×512的目標特征數據A_obj平均池化為1×1×512的一維數據a_obj，其中a_obj的第i個元素a_obj(i)為：

式中，P表示目標特征數據的第一尺度的維數，Q表示目標特征數據第二尺度的維數，A_obj(s,j,i)表示A_obj中坐標為(s,j,i)的數據值；