[發明專利]一種基于深度學習的人體坐姿實時監視方法和系統

在審

• 申請號: 201910386822.0
• 申請日: 2019-05-10
• 公開（公告）號: CN110321786A
• 公開（公告）日: 2019-10-11
• 發明（設計）人: 張闖;馮慕妍;吳銘
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G08B21/24
• 代理公司: 北京挺立專利事務所(普通合伙) 11265
• 代理人: 葉樹明

1.一種基于深度學習的人體坐姿實時監視方法，其特征在于，包括：

步驟一、將攝像頭拍攝的人體坐姿圖像實時輸入至核心處理器中；

步驟二、核心處理器將接收到的人體坐姿圖像作為輸入，進入已訓練好的Yolo3網絡中，輸出分類為人的包圍框；

步驟三、將輸出的包圍框輸入姿態估計器，通過G-RMI的網絡得到關鍵點骨架圖；

步驟四、將得到的骨架圖輸入分類器，得到人體坐姿圖像對應用戶的當前坐姿狀態；

步驟五、將當前坐姿狀態輸入姿態糾正器中，通過狀態轉移圖，得到當前坐姿狀態的姿態糾正方案，并對當前坐姿狀態進行記錄，當用戶維持同一姿態超過規定時間，通過語音提示模塊進行語音提示。

2.如權利要求1所述的方法，其特征在于，所述步驟二中，輸出分類為人的包圍框之后，還包括：

獲取分類為人的包圍框對于攝像頭獲取的圖像的占比，通過語音模塊來調整攝像頭擺放的角度；

若沒有從圖像中檢測到人，則通過語音提示模塊提示用戶調整攝像頭的位置。

3.如權利要求1或2所述的方法，其特征在于，所述步驟三中，將輸出的包圍框輸入姿態估計器，通過G-RMI的網絡得到關鍵點骨架圖，包括：

使用G-RMI算法，采用基于全卷積網絡的殘差網絡對包圍框覆蓋區域進行預測密集熱圖和補償；通過熱圖和補償的融合得到關鍵點的精確定位，從而得到單人的人體骨架圖。

4.如權利要求1所述的方法，其特征在于，所述步驟四中，將得到的骨架圖輸入分類器，得到人體坐姿圖像對應用戶的當前坐姿狀態，包括：

訓練Softmax分類器，對骨架圖進行分類，將訓練集的骨架圖及其分類作為分類器的輸入，通過反向傳播算法不斷的訓練分類器，通過傳遞誤差信號來更新梯度，尋找最優值，并在驗證集上進行調整，得到最終的分類器；

將得到的骨架圖輸入分類器，分類器輸出代表當前坐姿狀態的數字，得到人體坐姿圖像對應用戶的當前坐姿狀態。

5.如權利要求1或4所述的方法，其特征在于，所述分類器包括Softmax分類器。

6.如權利要求1所述的方法，其特征在于，狀態轉移圖，識別并切換的姿態包括但不限于：

托腮姿態、手肘位置錯誤狀態、走神狀態、正確姿態、腰身不直狀態、休息狀態、距離過近狀態和/或距離極近狀態等不良姿態。

7.如權利要求1所述的方法，其特征在于，所述步驟五，還包括：

用戶長時間維持在非休息狀態1小時，語音提示模塊提醒用戶進行休息。

8.如權利要求1-7之一所述的方法，其特征在于，通過語音提示模塊進行語音提示的信息設置方式包括：

自行設置語音提醒，在不同的狀態轉移時進行播放；或使用核心處理器的預置語音進行提醒。

9.一種基于深度學習的人體坐姿實時監視系統，其特征在于，包括：

攝像頭，用于將拍攝的人體坐姿圖像實時輸入至核心處理器中；

核心處理器，用于將接收到的人體坐姿圖像作為輸入，進入已訓練好的Yolo3網絡中，輸出分類為人的包圍框；

姿態估計器，用于將包圍框作為輸入，通過G-RMI的網絡得到關鍵點骨架圖；

分類器，用于將骨架圖作為輸入，得到人體坐姿圖像對應用戶的當前坐姿狀態；

姿態糾正器和語音提示模塊，用于將當前坐姿狀態作為姿態糾正器的輸入，通過狀態轉移圖，得到當前坐姿狀態的姿態糾正方案，并對當前坐姿狀態進行記錄，當用戶維持同一姿態超過規定時間，通過語音提示模塊進行語音提示。