[發明專利]一種實時視頻流對象檢測和跟蹤方法

在審

• 申請號: 202011532140.5
• 申請日: 2020-12-23
• 公開（公告）號: CN112598707A
• 公開（公告）日: 2021-04-02
• 發明（設計）人: 羊愛英;燕碩;梁勁;張亞斌;張澤
• 申請（專利權）人: 南京稻子菱機電設備有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/73;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種實時視頻流對象檢測和跟蹤方法,其特征在于：包括以下步驟：

A、對輸入視頻的第一幀子集執行對象檢測；

B、在第一幀子集中的第一檢測幀中檢測物體和物體位置；

C、在第一檢測幀之后，跟蹤檢測到的對象以更新輸入視頻的第二幀子集上的對象位置，其中第一幀子集和第二幀子集不重疊。

2.根據權利要求1所述的一種實時視頻流對象檢測和跟蹤方法，其特征在于：對所述輸入視頻進行劃分，使得所述第一幀子集對應于每第N個幀，N是所選擇的數量，并且所述第二幀子集對應于其余的幀。

3.根據權利要求1所述的一種實時視頻流對象檢測和跟蹤方法，其特征在于：當在第一檢測幀之后的選定數量的連續幀中沒有檢測到對象時結束跟蹤；當對象的跟蹤分數低于跟蹤閾值時結束跟蹤。

4.根據權利要求3所述的一種實時視頻流對象檢測和跟蹤方法，其特征在于：基于在第一檢測幀中檢測到的對象的特征來分配跟蹤分數；基于檢測對象的屬性，在幀的第一子集上確定每個檢測對象的跟蹤閾值。

5.根據權利要求1所述的一種實時視頻流對象檢測和跟蹤方法，其特征在于：將ID與第一幀子集的檢測對象相關聯；基于所述ID來關聯在第一子集的不同幀中檢測到的對象；在第一子集的幀上確定對象的邊界框；以及在第二子集的幀上確定邊界框的變化；當在第一子集中的第二檢測幀上未檢測到對象時，在第二檢測幀上跟蹤該對象。

6.一種實時視頻流對象跟蹤系統，其特征在于：包括對象檢測單元，對象跟蹤單元，數據關聯單元；其中對象檢測單元用于對輸入視頻的幀的第一子集執行對象檢測；對象跟蹤單元用于基于每個檢測到的對象的跟蹤閾值，在輸入視頻的幀的第二子集上跟蹤檢測單元先前檢測到的對象的位置；其中第二子集和第一子集是互斥的；所述對象檢測單元包含幀存儲器、神經網絡權重、檢測神經網絡和裁剪單元；該神經網絡是以級聯卷積神經網絡MTCNN為基礎進行優化的結構，該神經網絡包含三個子網絡，分別稱之為P-Net,R-Net,O-Net，三個網絡組成一個級聯結構；基于檢測神經網絡確定的對象的位置裁剪存儲在幀存儲器中的檢測幀，裁剪后的對象圖像提供給對象跟蹤單元、跟蹤神經網絡和對象分析單元。

7.根據權利要求6所述的一種實時視頻流對象跟蹤系統，其特征在于：所述對象跟蹤單元包含神經網絡權重和跟蹤神經網絡，其中，權重信息是預先訓練好的參數；該神經網絡是以級聯卷積神經網絡MTCNN為基礎進行優化的結構，該神經網絡包含三個子網絡，分別稱之為P-Net,R-Net,O-Net，三個網絡組成一個級聯結構。

8.根據權利要求6或7所述的一種實時視頻流對象跟蹤系統，其特征在于：所述P-Net由四層卷積組成，第一層卷積核尺寸為3×3；第二層卷積核尺寸為3×3；第三層卷積核尺寸為1×1；第四層卷積又包括兩個卷積層，第一個卷積層卷積核尺寸為1×1，輸出一個通道稱為置信度，用sigmoid激活，用于檢測是否存在對象，并設定一個閾值，如果輸出值大于該閾值，則判斷為有對象。第二層卷積層卷積核尺寸為1×1，輸出四個通道稱為偏移量，用relu激活，用來確定對象位置；所述R-Net由五層卷積組成，第一層卷積核尺寸為3×3；第二層卷積核尺寸為3×3；第三層卷積核尺寸為2×2；第四層卷積核尺寸為2×2；第五層卷積又包括兩個卷積層，第一個卷積層卷積核尺寸為1×1，輸出一個通道稱為置信度，用sigmoid激活，用于檢測是否存在對象，并設定一個閾值，如果輸出值大于該閾值，則判斷為有對象。第二層卷積層卷積核尺寸為1×1，輸出四個通道稱為偏移量，用relu激活，用來確定對象位置；所述O-Net由五層卷積組成，第一層卷積核尺寸為3×3；第二層卷積核尺寸為3×3；第三層卷積核尺寸為3×3；第四層卷積核尺寸為3×3；第五層卷積又包括兩個卷積層。第一個卷積層卷積核尺寸為1×1，輸出一個通道稱為置信度，用sigmoid激活，用于檢測是否存在對象，并設定一個閾值，如果輸出值大于該閾值，則判斷為有對象。第二層卷積層卷積核尺寸為1×1，輸出四個通道稱為偏移量，用relu激活，用來確定對象位置。