[發明專利]基于圖像物體檢測技術的利用攝像頭的視頻實物計數方法

在審

• 申請號: 201910736425.1
• 申請日: 2019-08-09
• 公開（公告）號: CN110472552A
• 公開（公告）日: 2019-11-19
• 發明（設計）人: 于長斌;顏力琦;李相清
• 申請（專利權）人: 杭州義順科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06T7/00
• 代理公司: 33213 杭州浙科專利事務所(普通合伙)
• 代理人: 周紅芳<國際申請>=<國際公布>=<進入

1.一種基于圖像物體檢測技術的利用攝像頭的視頻實物計數方法，其特征在于，包括如下步驟：

步驟1)預訓練階段：利用已經在常用的圖像物體檢測數據集來訓練圖像物體檢測模型，使其能識別并標記出圖像中的實物種類，保存模型參數至檢查點；

步驟2)微調階段：如果需要計數的實物已經被包含在數據集中，并且識別準確度滿足要求，則直接進行步驟3)，否則，從攝像頭所拍攝的一部分視頻中隨機提取多個包含這些實物的幀，為這些圖像標記出要計數的實體，在預訓練的模型的基礎上，利用這些新標記的數據集從檢查點開始繼續訓練該模型使得其能識別并標記這些實物；

步驟3)視頻計數階段：提取每一個需要計數的視頻的所有幀，通過經過以上步驟訓練好的模型識別并標記出要計數的實物，匹配、跟蹤每一幀之間的實物；定下一個基準線的位置，每當一個實物的中心從基準線的一側移動到另一側時，記錄該實體，當該實物中心離開基準線一段距離時，實物所屬類別的計數器加一。

2.根據權利要求1所述基于圖像物體檢測技術的利用攝像頭的視頻實物計數方法，其特征在于，所述步驟1)中圖像物體檢測數據集是MS COCO數據集、ImageNet數據集或CIFAR數據集。

3.根據權利要求1所述基于圖像物體檢測技術的利用攝像頭的視頻實物計數方法，其特征在于，所述步驟1)中圖像物體檢測模型是Mask RCNN模型、Fast/Faster RCNN模型、VGG模型、ResNet模型或Inception模型。

4.根據權利要求1所述基于圖像物體檢測技術的利用攝像頭的視頻實物計數方法，其特征在于，所述步驟1)中圖像物體檢測模型能夠輸入任意大小的圖像，并且輸出圖像中所有檢測到的實物在圖像中的位置、大小及名稱。

5.根據權利要求1所述基于圖像物體檢測技術的利用攝像頭的視頻實物計數方法，其特征在于，所述步驟2)中新標記的數據集是從所有待檢測的攝像頭拍攝的所有視頻中選取5個以上的視頻，每個視頻選取不超過10個幀，組成是數據集中驗證集和訓練集的比例為1:5～1:2。

6.根據權利要求1所述基于圖像物體檢測技術的利用攝像頭的視頻實物計數方法，其特征在于，所述步驟2)中新標記的數據集標注格式要符合圖像物體檢測模型的格式要求，物體檢測的標注格式為應當檢測的實物的矩形框的左上頂點的坐標、矩形框的大小以及實物種類，圖像分割的標注格式為應當檢測的實物的一個多邊形邊界的所有頂點坐標組成的有序的二維數組以及實物種類。

7.根據權利要求1所述基于圖像物體檢測技術的利用攝像頭的視頻實物計數方法，其特征在于，所述步驟2)微調階段的訓練的過程中，設置模型的每個周期的步數為20～100，使得模型在新標記的數據集上的損失函數收斂至最小，準確率收斂至最大。

8.根據權利要求1所述基于圖像物體檢測技術的利用攝像頭的視頻實物計數方法，其特征在于，所述步驟3)中基準線的位置范圍是畫面的寬度或高度的10％～90％。

9.根據權利要求1所述基于圖像物體檢測技術的利用攝像頭的視頻實物計數方法，其特征在于，所述步驟3)中每一幀之間的實物的匹配、跟蹤是首先記錄每個被檢測到的實物的位置，下一幀時遍歷所有檢測到的實物，找到實物中心的加權距離最小的作為上一幀中對應的實物，并且為了防止跟蹤過程中未識別出該實物，設定一個遺忘值，范圍為1～10，若未檢測到的幀數超過該遺忘值，則判定該實物失效。

10.根據權利要求1所述基于圖像物體檢測技術的利用攝像頭的視頻實物計數方法，其特征在于，所述步驟3)中實物的中心離開基準線的一段距離是實物的大小的10％～50％。