[發明專利]一種基于深度學習的多目標跟蹤視頻巡店方法

在審

• 申請號: 202011014178.3
• 申請日: 2020-09-24
• 公開（公告）號: CN112329521A
• 公開（公告）日: 2021-02-05
• 發明（設計）人: 呂琨;彭靖田
• 申請（專利權）人: 上海品覽數據科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N20/00
• 代理公司: 上海創開專利代理事務所(普通合伙) 31374
• 代理人: 汪發成

本發明公開了一種基于深度學習的多目標跟蹤視頻巡店方法，涉及深度學習的多目標跟蹤技術領域。本發明包括如下步驟：P1、用工業相機采集高清視頻；P2、將采集完成的視頻上傳至庫存盤點系統；P3、將巡店視頻輸入訓練好的YOLO V3+DeepSort模型中；P4、根據預測結果進行貨物盤點和后續操作；步驟P3中YOLO V3+DeepSort模型包括Detection跟蹤步驟以及track跟蹤步驟。本發明應用非圖像特征，顯著提升了商品規格分類的識別準確率，同樣適用于同種商品不同規格的識別。

技術領域

本發明屬于深度學習的多目標跟蹤技術領域，特別是涉及一種基于深度學習的多目標跟蹤視頻巡店方法。

背景技術

對于線下零售商店或超市，貨架上商品貨物的盤點是一項耗時耗力的任務。尤其是商業超市，需要每天整理庫存信息，及時對貨架商品進行補貨操作。

傳統零售店的貨物盤點一般都是人工，這樣耗費大量人力，且很容易造成誤檢和漏檢的問題。隨著智能化加速，先進很多大型超市已經開始使用機器智能盤點貨物。其根本技術是基于視頻，進行視覺識別和物體跟蹤。

傳統的視覺目標跟蹤流程即給定某視頻序列初始幀的目標大小與位置的情況下，預測后續幀中該目標的大小與位置。需要手動提取特征所以速度慢，無法處理和適應復雜的跟蹤變化，魯棒性和準確度都比較差.。因此，針對以上問題，提供一種基于深度學習的多目標跟蹤視頻巡店方法具有重要意義。本發明提供了。因此，針對以上問題，提供一種基于深度學習的多目標跟蹤視頻巡店方法具有重要意義。

發明內容

本發明提供了一種基于深度學習的多目標跟蹤視頻巡店方法，解決了以上問題。

為解決上述技術問題，本發明是通過以下技術方案實現的：

本發明的一種基于深度學習的多目標跟蹤視頻巡店方法，包括如下步驟：

P1、用工業相機采集高清視頻；

P2、將采集完成的視頻上傳至庫存盤點系統；

P3、將巡店視頻輸入訓練好的YOLO V3+DeepSort模型中；

P4、根據預測結果進行貨物盤點和后續操作。

進一步地，所述步驟P3中YOLO V3+DeepSort模型包括Detection跟蹤步驟以及track跟蹤步驟；

所述Detection跟蹤步驟，包括如下步驟：

S1、分配Track indices和Detection indices；

S2、計算Cost matrix此處只有cosine distance；

S3、計算Kalman預測的每個track平均軌道的位置和實際detect的BBox間的平方馬氏距離cost matrix；

S4、將cisine cost matrix中track和detection間平方馬氏距離大于閾值，即不滿足b的對應值置為無窮大，方便后續計算

S5、將cosine cost matrix中track和detecion間cosine距離大于閾值，即不滿足b的對應值置為較大，方便后續刪除；

S6、使用Hungarian算法對track和detect進行匹配，并返回匹配結果；

S7、對匹配對結果進行篩選,刪去appearance較大對匹配，即cosion disance過大；并返回值步驟S02并循環檢測幀數；

S8、得到初步的matches，unmatched tracks和unmatched detections；