[發明專利]一種基于人體骨骼點檢測的俯臥撐計數方法

在審

• 申請號: 202011606081.1
• 申請日: 2020-12-30
• 公開（公告）號: CN112464915A
• 公開（公告）日: 2021-03-09
• 發明（設計）人: 吳柯維;葉佳林
• 申請（專利權）人: 南京積圖網絡科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08;G06M1/27
• 代理公司: 南京源古知識產權代理事務所(普通合伙) 32300
• 代理人: 鄭宜梅

1.一種基于人體識別的俯臥撐識別方法，其特征在于：包括以下步驟：

步驟一：獲取包含人體俯臥撐圖像的圖片，在人體俯臥撐圖像數據中提取并標記出人體骨骼點位信息從而獲得人體骨骼點位數據集；將標記好的俯臥撐圖片及其標記的真值數據輸入人體骨骼點檢測網絡中訓練獲得人體骨骼點檢測網絡模型，其中人體骨骼點檢測網絡為基于多尺度融合的人體骨骼點檢測網絡；

步驟二：通過攝像機拍攝被測者的人體的圖像，將獲取的人體的圖像依照拍攝的順序輸入已經訓練好的人體骨骼點檢測網絡模型；獲取出拍攝的圖片中的人體骨骼點信息；

步驟三：根據預設的骨骼點的位置信息判斷被檢測人體骨骼的信號；獲取的人體骨骼點信息中包括右肩點，右肘點，右手腕點，左肩點，左肘點，左手腕點，右臀點，右膝蓋點，右腳踝點，左臀點，左膝蓋點，左腳踝點所在的位置；所述預設的骨骼點的位置信息為被測者的右肩點、右肘點、右手腕點連成的折線的折角大于150度，左肩點、左肘點、左手腕點連成的折線的折角大于150度，右臀點、右膝蓋點、右腳踝點連成的折線的折角大于170度，左臀點、左膝蓋點、左腳踝點連成的折線的折角大于170度，則判斷人體處于伸直狀態信號；預設被測者的右肩點、右肘點、右手腕點連成的折線的折角小于30度，左肩點、左肘點、左手腕點連成的折線的折角小于30度，右臀點、右膝蓋點、右腳踝點連成的折線的折角大于170度，左臀點、左膝蓋點、左腳踝點連成的折線的折角大于170度，則判斷人體處于伸直狀態信號；

步驟四：如果被測者的人體出現一個連續的拉直和彎曲信號，則判斷該人做俯臥撐計數一個。

2.根據權利要求1所述的一種基于人體識別的俯臥撐識別方法，其特征在于：步驟一中獲取人體俯臥撐圖像數據具體為在網絡中獲取做俯臥撐的視頻和圖片；將獲取的視頻每幀進行裁剪成圖像；將裁剪好的圖像和原始爬蟲獲得的圖像進行混合后標注出圖像中的人，將標記好的人裁剪出來，統一做歸一化處理，再進行骨骼點點位標記。

3.根據權利要求1所述的一種基于人體識別的俯臥撐識別方法，其特征在于：所述人體骨骼點檢測網絡包括主干網絡，特征融合網絡和輸出網絡。

4.根據權利要求3所述的一種基于人體識別的俯臥撐識別方法，其特征在于：所述人體骨骼點檢測網絡的主干網絡為使用resnet101作為主干網絡，其中resnet101由5個卷積模塊組成；resnet101的第一個卷積模塊由三個重復的卷積組組成，每個卷積組包含64個1*1卷積層，64個3*3卷積層和256個1*1卷積層；resnet101的第二個卷積模塊由四個重復的卷積組組成，每個卷積組包含128個1*1卷積層，128個3*3卷積層和512個1*1卷積層；resnet101的第三個卷積模塊由二十三個重復的卷積組組成，每個卷積組包含256個1*1卷積層，256個3*3卷積層和1024個1*1卷積層；resnet101的第四個卷積模塊由三個重復的卷積組組成，每個卷積組包含512個1*1卷積層，512個3*3卷積層和2048個1*1卷積層。

5.根據權利要求3所述的一種基于人體識別的俯臥撐識別方法，其特征在于：所述人體骨骼點檢測網絡的特征融合網絡為通過將三倍降采樣，四倍降采樣，五倍降采樣尺度的特征圖融合實現高低層融合結構；對于三倍降采樣，首先對三倍降采樣層進行步長為2的3*3卷積操作實現降采樣然后1*1卷積層實現通道增倍，使其通道數和維度都和四倍降采樣層一樣，對于五倍降采樣層，通過首先通過1*1卷積使其通道數降低為原來的一半，再通過上采樣實現特征層大小增倍；將三個尺度得到的特征層進行連接，最后將連接得到的特征層經過3*3卷積后生成特征層A；分別將特征層A分別進行1*1卷積，3*3卷積和1*1卷積生成特征層B，將特征層A通過1*1卷積和2個全連接層生成特征層C，將A和C相乘獲得熱點圖D。

6.根據權利要求5所述的一種基于人體識別的俯臥撐識別方法，其特征在于：所述人體骨骼點檢測網絡的輸出層通過熱點圖D實現輸出關鍵點坐標和坐標分類實現關鍵點的關鍵點的輸出，預測損失函數使用的是MSE loss 分類使用的是互熵損失。