[發明專利]一種實時視頻流對象檢測和跟蹤方法

在審

• 申請號: 202011532140.5
• 申請日: 2020-12-23
• 公開（公告）號: CN112598707A
• 公開（公告）日: 2021-04-02
• 發明（設計）人: 羊愛英;燕碩;梁勁;張亞斌;張澤
• 申請（專利權）人: 南京稻子菱機電設備有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/73;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種實時視頻流對象檢測和跟蹤方法，包括以下步驟：A、對輸入視頻的第一幀子集執行對象檢測；B、在第一幀子集中的第一檢測幀中檢測物體和物體位置；C、在第一檢測幀之后，跟蹤檢測到的對象以更新輸入視頻的第二幀子集上的對象位置，其中第一幀子集和第二幀子集不重疊，本發明合理設置了檢測幀和跟蹤幀的分配，設置合理的檢測和跟蹤規則，減小綜合的計算量，加快計算速度和跟蹤的實時性；又優化了用于檢測和跟蹤的神經網絡結構，這不僅可以減小計算量，快速訓練神經網絡，快速降低損失，提高追蹤的精度。

技術領域

本發明涉及視頻圖像分析技術領域，具體為一種實時視頻流對象檢測和跟蹤方法。

背景技術

攝像機在手機等移動電子設備上幾乎無處不在。通常可以通過理解由照相機捕捉的場景的內容來改進由照相機捕捉的圖像和視頻。例如，對諸如面部的對象的檢測可以允許基于檢測對象的位置、移動和照明條件來控制照相機參數，諸如焦距和白平衡。然而，可靠的目標檢測技術通常是一個計算密集型、耗電量大且離線的過程。本發明合理設置了檢測幀和跟蹤幀的分配，設置合理的檢測和跟蹤規則，減小綜合的計算量，加快計算速度和跟蹤的實時性；又優化了用于檢測和跟蹤的神經網絡結構，這不僅可以減小計算量，快速訓練神經網絡，快速降低損失，提高追蹤的精度。

發明內容

本發明的目的在于提供一種實時視頻流對象檢測和跟蹤方法，以解決上述背景技術中提出的問題。

為實現上述目的，本發明提供如下技術方案：一種實時視頻流對象檢測和跟蹤方法,包括以下步驟：

A、對輸入視頻的第一幀子集執行對象檢測；

B、在第一幀子集中的第一檢測幀中檢測物體和物體位置；

C、在第一檢測幀之后，跟蹤檢測到的對象以更新輸入視頻的第二幀子集上的對象位置，其中第一幀子集和第二幀子集不重疊。

優選的，對所述輸入視頻進行劃分，使得所述第一幀子集對應于每第N個幀，N是所選擇的數量，并且所述第二幀子集對應于其余的幀。

優選的，當在第一檢測幀之后的選定數量的連續幀中沒有檢測到對象時結束跟蹤；當對象的跟蹤分數低于跟蹤閾值時結束跟蹤。

優選的，基于在第一檢測幀中檢測到的對象的特征來分配跟蹤分數；基于檢測對象的屬性，在幀的第一子集上確定每個檢測對象的跟蹤閾值。

優選的，將ID與第一幀子集的檢測對象相關聯；基于所述ID來關聯在第一子集的不同幀中檢測到的對象；在第一子集的幀上確定對象的邊界框；以及在第二子集的幀上確定邊界框的變化；當在第一子集中的第二檢測幀上未檢測到對象時，在第二檢測幀上跟蹤該對象。

優選的，一種實時視頻流對象跟蹤系統，包括對象檢測單元，對象跟蹤單元，數據關聯單元；其中對象檢測單元用于對輸入視頻的幀的第一子集執行對象檢測；對象跟蹤單元用于基于每個檢測到的對象的跟蹤閾值，在輸入視頻的幀的第二子集上跟蹤檢測單元先前檢測到的對象的位置；其中第二子集和第一子集是互斥的；所述對象檢測單元包含幀存儲器、神經網絡權重、檢測神經網絡和裁剪單元；該神經網絡是以級聯卷積神經網絡MTCNN為基礎進行優化的結構，該神經網絡包含三個子網絡，分別稱之為P-Net,R-Net,O-Net，三個網絡組成一個級聯結構；基于檢測神經網絡確定的對象的位置裁剪存儲在幀存儲器中的檢測幀，裁剪后的對象圖像提供給對象跟蹤單元、跟蹤神經網絡和對象分析單元。

優選的，所述對象跟蹤單元包含神經網絡權重和跟蹤神經網絡，其中，權重信息是預先訓練好的參數；該神經網絡是以級聯卷積神經網絡MTCNN為基礎進行優化的結構，該神經網絡包含三個子網絡，分別稱之為P-Net,R-Net,O-Net，三個網絡組成一個級聯結構。