[發明專利]一種基于RGBD相機姿態估計的引體向上計數方法

在審

• 申請號: 202110067884.2
• 申請日: 2021-01-19
• 公開（公告）號: CN112800905A
• 公開（公告）日: 2021-05-14
• 發明（設計）人: 朱程利;余小歡;陳啟煌;伍賢彬;馬村;陳嵩
• 申請（專利權）人: 浙江光珀智能科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06T7/194
• 代理公司: 杭州鈐韜知識產權代理事務所(普通合伙) 33329
• 代理人: 唐靈;趙杰香

本發明公開了一種基于RGBD相機姿態估計的引體向上計數方法，采集RGB和Depth圖像，并對RGB和Depth圖像進行處理得到抑制掉大部分背景信息的圖像；將處理后的RGB和Depth圖像輸入至mobi le net系列網絡結構模型中進行有效的融合，輸出關鍵點置信度圖和部分親和場圖；通過積分函數評估兩個關鍵點之間的相關性，將各人的關節點進行連接，得到圖像中所有人的姿態骨架圖；根據姿態骨架圖中骨骼關鍵點的信息提取引體向上運動參數；根據運動參數判斷是否進行引體向上動作，如果是，則進行引體向上計數。本發明能夠適應各種運動場景，通過Depth信息分割掉背景信息，計數機制更加魯棒，計數更加精確，同時提升了計算的效率。

技術領域

本發明涉及一種人體向上計數方法，特別涉及一種基于RGBD相機姿態估計的引體向上計數方法。

背景技術

引體向上要求有一定的握力和上肢力量，這個力量必須克服自身的體重才能完成一次，引體向上對發展上肢懸垂力量、肩帶力量和握力有重要作用，因此，引體向上是健身和鍛煉最為常見的項目之一，為了科學有效的健身與鍛煉，在做引體向上項目時，需要對引體向上進行有效的計數。

目前引體向上計數的方法有人工計數，這種計數方法依靠計數人員的主觀判斷，在模棱兩可的情況下容易出錯，另外也浪費人力；

中國發明專利授權公告號CN105879358B，授權公告日2018年08月28日，專利名稱《引體向上成績測試儀》，該方法采用拉線式位移傳感器，這種方法要求被測者穿戴相應的設備，給被測者帶來不便，另外需要裝置上下杠感知單元，設計較為復雜；

中國發明專利公開號CN 107122798A，公開日2017年09月01日，專利名稱《基于深度卷積網絡的引體向上計數檢測方法及裝置》，該方法公開了一種利用深度學習進行引體向上的計數，該方法存在兩方面的問題，一是，采集的數據比較多，需要采集大量的鼻子過桿，頭部過桿但鼻子未過桿等數據，需要對數據進行標注，需要投入大量的人力物力，二是，對模棱兩可的情況不能很好的處理。

中國發明專利公開號CN 111282248A，公開日2020年06月16日，專利名稱《一種基于骨骼和人臉關鍵點的引體向上檢測系統及方法》，該方法通過采用單幀大臂和小臂之間的夾角來計數，該方法存在兩個問題：一是，當有某個關鍵點檢測失敗之后，這些計數機制則失敗，造成計數誤差。二是，當RGB圖像出現多人時，會檢測出所有人的關鍵點信息，多人關鍵點信息會相互影響，造成計數不精確；同時檢測多人的關鍵點信息也會帶來一定的時延。

所以有必要提出一種新的方案，基于RGBD相機姿態估計的引體向上計數方法，該方法通過獲取RGB和Depth圖像，并對RGB和Depth圖像進行處理，將處理后的RGB和Depth圖像輸入至網絡模型中獲得圖像中所有人的姿態骨架圖，根據姿態骨架圖設計引體向上相應的動作邏輯機制，進行引體向上計數的方案。

發明內容

針對目前引體向上計數出現的問題，本發明提供了一種基于RGBD相機姿態估計的引體向上計數方法，結合RGBD圖像的互補特性進行網絡結構的設計，使得網絡能夠自適應的融合RGB和Depth圖像的特征，網絡同時回歸人體骨骼關鍵點和進行關鍵點的關聯，得到人體姿態骨架圖，然后對檢測的關鍵點進行邏輯判斷和對比，設計引體向上邏輯和動作，并進行引體向上計數。

根據本發明的目的提供了一種基于RGBD相機姿態估計的引體向上計數方法，包括以下步驟：

S1：采集RGB和Depth圖像，并對RGB和Depth圖像進行處理得到抑制掉大部分背景信息的圖像；

S2：將處理后的RGB和Depth圖像輸入至mobile net系列網絡結構模型中進行有效的融合，輸出關鍵點置信度圖和部分親和場圖；通過積分函數評估兩個關鍵點之間的相關性，將各人的關節點進行連接，得到圖像中所有人的姿態骨架圖；

S3：根據姿態骨架圖中骨骼關鍵點的信息提取引體向上運動參數；