[發明專利]基于單目攝像頭和三維姿態估計的劇烈運動檢測方法

在審

• 申請號: 202010596641.3
• 申請日: 2020-06-28
• 公開（公告）號: CN111753747A
• 公開（公告）日: 2020-10-09
• 發明（設計）人: 彭楠;林煥凱;周謙;朱婷婷;劉雙廣
• 申請（專利權）人: 高新興科技集團股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G08B21/18;G06N3/08;G06N3/04
• 代理公司: 廣州國鵬知識產權代理事務所(普通合伙) 44511
• 代理人: 葛紅

1.基于單目攝像頭和三維姿態估計的劇烈運動檢測方法，其特征在于，所述的方法包含如下步驟：

S1.基于人體檢測模型和人體二維關鍵點檢測模型，輸入單目攝像頭的RGB圖像，輸出圖像中的人體位置信息和人體二維關鍵點位置信息；

S2.利用人體二維關鍵點提升為人體三維關鍵點模型，輸入人體二維關鍵點位置信息，輸出相應的人體三維關鍵點位置信息；

S3.基于當前幀和上一幀人體位置信息、人體二維關鍵點位置信息和人體三維關鍵點位置信息，計算幀間各個人體兩兩之間的相似度，利用匈牙利算法對幀間人體進行匹配，獲取多幀圖像中的各個人體是否是同一個人；

S4.基于多幀圖像中同一個人的人體三維關鍵點位置信息，提取運動特征，利用劇烈運動檢測模型，輸入基于多幀圖像中同一個人的人體三維關鍵點位置信息提取的運動特征，判斷是否存在劇烈運動。

2.根據權利要求1所述的基于單目攝像頭和三維姿態估計的劇烈運動檢測方法，其特征在于，所述的步驟S1中進一步包括步驟：

1.1訓練基于深度卷積神經網絡的人體檢測模型；獲取大量標注有人體位置信息的圖像數據，訓練所選的人體檢測模型，其中，人體位置信息具體指人體外接矩形在圖像像素坐標中的四個值(x,y,w,h)，x和y分別指人體外接矩形左上角在圖像像素坐標中的x坐標和y坐標，w和h分別指人體外接矩形在圖像像素坐標中的寬和高；

1.2訓練基于深度卷積神經網絡的人體二維關鍵點檢測模型；獲取大量標注有人體二維關鍵點位置信息的圖像數據，訓練所選的人體二維關鍵點檢測模型，其中，人體二維關鍵點位置信息具體指所選人體關鍵點在圖像像素坐標中的x坐標和y坐標；

1.3將圖像輸入到訓練好的人體檢測模型，輸出人體位置信息；利用每個人體位置信息從圖像將該人體外接矩形裁出，并調整尺寸，作為訓練好的人體二維關鍵點檢測模型的輸入，輸出人體二維關鍵點位置信息。

3.根據權利要求2所述的基于單目攝像頭和三維姿態估計的劇烈運動檢測方法，其特征在于，所述的人體檢測模型包括faster-rcnn、yolov3、ssd或者refinedet目標檢測模型的一個或多個的組合。

4.根據權利要求2所述的基于單目攝像頭和三維姿態估計的劇烈運動檢測方法，其特征在于，所述的人體二維關鍵點檢測模型包括alphapose、simple pose、mspn或cpn檢測模型的一個或多個的組合。

5.根據權利要求1所述的基于單目攝像頭和三維姿態估計的劇烈運動檢測方法，其特征在于，所述的步驟S2中進一步包括步驟：

2.1訓練基于深度卷積神經網絡的人體三維關鍵點檢測模型；獲取大量標注有人體三維關鍵點位置信息的圖像數據，訓練所選的人體三維關鍵點檢測模型；其中，人體三維關鍵點位置信息具體指所選人體關鍵點在世界坐標中的x坐標、y坐標和z坐標；人體三維關鍵點的所選人體關鍵點與人體二維關鍵點的所選人體關鍵點相同；

2.2將每個人體二維關鍵點位置信息輸入到訓練好的人體二維關鍵點提升為人體三維關鍵點模型，輸出相應的人體三維關鍵點位置信息。

6.根據權利要求5所述的基于單目攝像頭和三維姿態估計的劇烈運動檢測方法，其特征在于，所述的人體三維關鍵點檢測模型包括semgcn、videopose3d或者simple3dpose檢測模型的一個或多個的組合。

7.根據權利要求1所述的基于單目攝像頭和三維姿態估計的劇烈運動檢測方法，其特征在于，所述的步驟S3中進一步包括步驟：

3.1基于當前幀和上一幀人體位置信息、人體二維關鍵點位置信息和人體三維關鍵點位置信息，計算當前幀各個人體與上一幀各個人體兩兩之間的相似度；

3.2基于當前幀各個人體與上一幀各個人體兩兩之間的相似度，利用匈牙利算法得到最優匹配；在最優匹配中，對于相似度高于設定閾值的匹配對，則認定為同一個人體；對于相似度低于設定閾值的匹配對或當前幀未匹配上的人體，則認定為新的人體。