[發明專利]基于單目攝像頭和三維姿態估計的劇烈運動檢測方法

在審

• 申請號: 202010596641.3
• 申請日: 2020-06-28
• 公開（公告）號: CN111753747A
• 公開（公告）日: 2020-10-09
• 發明（設計）人: 彭楠;林煥凱;周謙;朱婷婷;劉雙廣
• 申請（專利權）人: 高新興科技集團股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G08B21/18;G06N3/08;G06N3/04
• 代理公司: 廣州國鵬知識產權代理事務所(普通合伙) 44511
• 代理人: 葛紅

本發明屬于視頻行為分析技術領域，具體涉及一種基于單目攝像頭和三維姿態估計的劇烈運動檢測方法，首先，利用基于深層卷積神經網絡的人體檢測模型、人體二維關鍵點檢測模型、人體二維關鍵點提升為人體三維關鍵點模型，輸入單目攝像頭的RGB圖像，輸出人體三維關鍵點位置信息，為劇烈運動檢測提供人體三維姿態表征。其次，基于深層卷積神經網絡模型檢測到的人體位置信息、人體二維關鍵點位置信息和人體三維關鍵點位置信息，對多幀圖像中人體的進行身份匹配，為劇烈運動檢測提供人體身份信息。最后，對多幀圖像中同一個人的人體三維關鍵點位置信息進行提取特征，利用預訓練的隨機森林劇烈運動檢測模型，檢測是否存在劇烈運動。本方案以人為主體，利用人體三維關鍵點更準確地表征人體三維姿態、匹配人體身份，提高劇烈運動檢測的精確度和穩健度。

技術領域

本發明屬于視頻行為分析技術領域，具體涉及一種基于單目攝像頭和三維姿態估計的劇烈運動檢測方法。

背景技術

在監管場所中，被監控者的劇烈運動是發生異常行為的一個重要信號。正確地檢測到監控視頻實時流中的人體劇烈運動，能讓監管人員對異常行為及時做出反應，對公共安全意義重大。

傳統的視頻中劇烈運動檢測方法，通常是利用背景差分法、幀間差分法、光流法等對視頻中相鄰圖像的變化、混亂程度進行計算，以此為依據分析是否存在人體的劇烈運動。然而，這種方法由于沒有以人為主體去分析，會產生很多非人造成的圖像巨大變化引起的劇烈運動誤檢，如光線變化、動物跳動、樹葉飄動等。

隨著深度卷積神經網絡在計算機視覺領域的發展，基于深度卷積神經網絡的圖像檢測識別技術在精確度和穩健度有了大幅提升。視頻中劇烈運動檢測方法也從中得到啟發，利用基于深度卷積神經網絡的二維人體關鍵點檢測技術，對相鄰圖像中同一個人的運動狀態進行計算，從而判斷是否存在人體的劇烈運動。

基于二維人體關鍵點檢測技術的劇烈運動檢測方案，雖然解決了以人為主體的問題，減少了很多非人造成的劇烈運動誤檢。然而，二維的人體關鍵點，難以準確表征三維人體的運動狀態；例如，一個二維人體姿態可映射為多個三維人體姿態。因此，基于二維人體關鍵點檢測技術的劇烈運動檢測方案在精確度和穩健度上有其上限。

發明內容

針對上述的不足，本發明提供一種基于單目攝像頭和三維姿態估計的劇烈運動檢測方法。

本發明通過以下技術方案實現：

基于單目攝像頭和三維姿態估計的劇烈運動檢測方法，所述的方法包含如下步驟：

S1.基于人體檢測模型和人體二維關鍵點檢測模型，輸入單目攝像頭的RGB圖像，輸出圖像中的人體位置信息和人體二維關鍵點位置信息；

S2.利用人體二維關鍵點提升為人體三維關鍵點模型，輸入人體二維關鍵點位置信息，輸出相應的人體三維關鍵點位置信息；

S3.基于當前幀和上一幀人體位置信息、人體二維關鍵點位置信息和人體三維關鍵點位置信息，計算幀間各個人體兩兩之間的相似度，利用匈牙利算法對幀間人體進行匹配，獲取多幀圖像中的各個人體是否是同一個人；

S4.基于多幀圖像中同一個人的人體三維關鍵點位置信息，提取運動特征，利用劇烈運動檢測模型，輸入基于多幀圖像中同一個人的人體三維關鍵點位置信息提取的運動特征，判斷是否存在劇烈運動。

所述的步驟S1中進一步包括步驟：

1.1訓練基于深度卷積神經網絡的人體檢測模型；獲取大量標注有人體位置信息的圖像數據，訓練所選的人體檢測模型，其中，人體位置信息具體指人體外接矩形在圖像像素坐標中的四個值(x,y,w,h)，x和y分別指人體外接矩形左上角在圖像像素坐標中的x坐標和y坐標，w和h分別指人體外接矩形在圖像像素坐標中的寬和高；