[發明專利]視頻中人形跟蹤方法以及人形跟蹤系統和存儲介質

在審

• 申請號: 202010117540.3
• 申請日: 2020-02-25
• 公開（公告）號: CN111340847A
• 公開（公告）日: 2020-06-26
• 發明（設計）人: 王震
• 申請（專利權）人: 杭州涂鴉信息技術有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/44;G06T7/90
• 代理公司: 北京崇智專利代理事務所(普通合伙) 11605
• 代理人: 趙麗娜

本發明涉及人形跟蹤技術領域，尤其涉及視頻中人形跟蹤方法以及人形跟蹤系統和存儲介質。視頻中人形跟蹤方法包括以下步驟：在第一幀圖像中檢測人形，分別得到對應每個人形的人形框；分別用人形框里的人形初始化跟蹤模型，然后分別在第二幀圖像中搜索相應的人形，得到的人形框分別經校準后輸出；分別用上一幀圖像輸出的人形框中的人形繼續更新對應的跟蹤模型，更新的跟蹤模型分別在下一幀圖像中搜索相應的人形，得到的人形框分別經校準后輸出，以此分別迭代處理圖像。本發明提供的人形跟蹤方法和系統和存儲介質，能夠精確跟蹤人形運動和大小變化，且能夠同時跟蹤多個人形，并能夠在嵌入式硬件上實時運行，耗時耗能少。

技術領域

本發明涉及人形跟蹤技術領域，尤其涉及視頻中人形跟蹤方法以及人形跟蹤系統和存儲介質。

背景技術

人形跟蹤，是指在視頻中確定人體的運動軌跡和大小變化。人形跟蹤作為一種重要的基礎技術，在安防監控、自動駕駛和機器人等領域有著廣泛的應用。

目前各大廠商采用的人形跟蹤技術分為兩種，一種是基于Mean shift、KCF及其變體等傳統算法的跟蹤，即給定初始人形框之后用這些算法進行連續幀跟蹤；另一種是基于檢測的跟蹤，比如Siames FC或Siames RPN及其變體等卷積神經網絡模型，這種方法在初始人形框附近所有位置提取特征，然后與初始人形框里的人形特征比對，最后將相似度最大的位置作為最終搜索目標。

發明內容

基于Mean shift、KCF及其變體等傳統算法的跟蹤，優點是計算量小、速度快，對硬件性能要求不高，可以實時跟蹤多個人形。但缺點是跟蹤精度低，特別當人體姿態發生較大變化時，跟蹤得到的人形框往往偏大或偏小。

基于檢測的跟蹤，如Siames FC及Siames RPN等模型，是基于卷積神經網絡模型實現的，通常需要在圖像中較大范圍內進行搜索，計算量大，特別是需要跟蹤多個人形時，在嵌入式硬件上很難做到實時運行。

鑒于目前人形跟蹤技術存在的問題，本發明提供一種人形跟蹤方法和裝置，能夠精確跟蹤人形運動和大小變化，且能夠同時跟蹤多個人形，并能夠在嵌入式硬件上實時運行。

本發明第一方面的技術方案提供了視頻中人形跟蹤方法，包括以下步驟：

(a)在第一幀圖像中檢測人形，分別得到對應每個人形的人形框；

(b)分別用所述人形框里的人形初始化跟蹤模型，初始化的跟蹤模型分別在第二幀圖像中搜索相應的人形，得到的人形框分別經校準后輸出；

(c)分別用所述第二幀圖像輸出的人形框里的人形繼續更新對應的跟蹤模型，更新的跟蹤模型分別在第三幀圖像中搜索相應的人形，得到的人形框分別經校準后輸出；

(d)分別用上一幀圖像輸出的人形框中的人形繼續更新對應的跟蹤模型，更新的跟蹤模型分別在下一幀圖像中搜索相應的人形，得到的人形框分別經校準后輸出，以此分別迭代處理圖像。

在一些可能的實施方式中，所述步驟(a)-步驟(d)共處理n幀圖像，n不小于15。

在一些可能的實施方式中，所述n幀圖像處理完成后，循環步驟(a)-步驟(d)。

在一些可能的實施方式中，n幀圖像為視頻一秒的圖像幀數。

在一些可能的實施方式中，n為15-60，優選為20-45。

在一些可能的實施方式中，所述檢測采用的目標檢測框架包括Faster RCNN、SSD、YOLO、FPN、ResNet50、DenseNet、SE-Net、MobileNet、ShuffleNet、CornerNet、CenterNet、FCOS、DPM中的任一種。

在一些可能的實施方式中，所述跟蹤模型包括Mean shift模型、CamShift、KCF及其變體濾波算法模型中的任一種。