[發明專利]一種基于機器視覺的運動輔助方法及系統

在審

• 申請號: 201710207753.3
• 申請日: 2017-03-31
• 公開（公告）號: CN107153812A
• 公開（公告）日: 2017-09-12
• 發明（設計）人: 王書強;程思瀟;胡明輝;曾德威
• 申請（專利權）人: 深圳先進技術研究院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 深圳市科進知識產權代理事務所(普通合伙)44316
• 代理人: 趙勍毅

技術領域

本申請涉及運動輔助系統技術領域，特別涉及一種基于機器視覺的運動輔助方法及系統。

背景技術

瑜伽是一種達到身體、心靈與精神和諧統一的運動方式，運用古老而易于掌握的技巧，改善人們生理、心理、情感和精神方面的能力，包括調身的體位法、調息的呼吸法、調心的冥想法等，以達至身心的合一。練習瑜伽時有很多注意方式，例如體式、呼吸等，尤其對于沒有專業教練指導的練習者來說，錯誤的練習方式反而會對身體造成傷害。

為了改善上述情況，目前出現了部分針對瑜伽練習的輔助設備，例如，中國專利申請CN201610255660.3公開了一種輔助練習瑜伽的方法及系統。該申請通過智能穿戴設備檢測用戶練習瑜伽動作時的用戶數據；將所述用戶數據與所述瑜伽動作的標準數據進行比較；若用戶數據與標準數據不對應，發出提示信息。該申請解決了練習者在缺乏瑜伽教練指導下很難正確練習瑜伽的問題，但需要瑜伽練習者佩戴智能穿戴設備，使用很不方便，而且采取的數據容易受外界環境等一些客觀因素的影響，不能準確的檢測練習者練習姿勢，在檢測到練習者練習姿勢不準確時，也不能給出標準的姿勢供練習者參考，不能很好的達到輔助練習瑜伽的作用。

中國專利申請CN201610243003.7公開了一種電子教練實現方法及系統，該申請利用攝像機的動作識別技術將采集到的用戶動作圖像序列與標準動作圖像序列相比對，以達到糾正用戶動作的效果。另一中國專利申請CN201210138503.6公開了一種基于人體姿態識別的體育教學輔助系統和方法，該申請通過深度攝像裝置獲取包括用戶跟隨示范動作運動動作的用戶動作深度圖像序列，并存儲標準動作模型和與標準動作模型對應的標準動作示范圖像序列；在瑜伽練習時，向用戶顯示所述標準動作示范圖像序列，將預定時間點或時間段的所述用戶動作深度圖像序列與對應時間點或時間段的標準動作模型進行比較，獲取用戶動作與標準動作模型的差異，并據所述差異向顯示裝置輸出動作評價信息或動作糾正提示信息。上述兩個專利申請僅采用簡單的將人體抽象成點和線的組合，或者僅僅標注關鍵關節的方法進行建模，效果不佳而且依賴于人工標注特征；同時，所描述的用戶動作與標準動作的比較僅僅停留在概念上，而沒有提出具體的算法或者是技術手段。

深度學習應用在圖像(視頻)識別上具有準確率高、識別速度快的優勢。但目前，采用深度學習的方法進行動作識別的瑜伽或其它運行項目的練習輔助系統還處于空白狀態。

發明內容

本申請提供了一種基于機器視覺的運動輔助方法及系統，旨在至少在一定程度上解決現有技術中的上述技術問題之一。

為了解決上述問題，本申請提供了如下技術方案：

一種基于機器視覺的運動輔助方法，包括：

步驟a：采集至少一個運動項目的至少一個體式的標準動作視頻；

步驟b：采用深度學習算法根據所述標準動作視頻構建張量遞歸神經網絡模型；

步驟c：采集練習者的當前動作視頻，將所述當前動作視頻輸入張量遞歸神經網絡模型進行識別，并根據識別結果顯示與所述當前動作視頻對應的標準動作視頻。

本申請實施例采取的技術方案還包括：所述步驟a還包括：將所述標準動作視頻分割成只包含單個動作的短視頻，以分割得到的短視頻作為訓練樣本構建動作視頻訓練集。

本申請實施例采取的技術方案還包括：所述步驟a還包括：對所述動作視頻訓練集進行數據預處理；所述預處理包括：對所述動作視頻訓練集中的短視頻進行向下采樣處理，提取向下采樣處理后的短視頻中以人為中心的邊界框，裁剪掉所述邊界框之外的多余背景，并將剪裁后的短視頻幀由RGB圖轉化為灰度圖。

本申請實施例采取的技術方案還包括：在所述步驟b中，所述構建張量遞歸神經網絡模型具體包括：設計張量卷積神經網絡，自動學習所述動作視頻訓練集中每個短視頻的時空特征；并通過所述張量卷積神經網絡學習到的時空特征訓練張量遞歸神經網絡模型。

本申請實施例采取的技術方案還包括：所述張量遞歸神經網絡模型包括輸入層、第一卷積層、第一校正層、第一池化層、第二卷積層、第二校正層、第二池化層、第三卷積層、張量遞歸層和輸出層；所述輸入層、第一卷積層、第一校正層、第一池化層、第二卷積層、第二校正層、第二池化層、第三卷積層依次連接，所述張量遞歸層全連接到第三卷積層，所述輸出層全連接到張量遞歸層。

本申請實施例采取的另一技術方案為：一種基于機器視覺的運動輔助系統，包括：