[發明專利]一種基于機器視覺的運動輔助方法及系統

在審

• 申請號: 201710207753.3
• 申請日: 2017-03-31
• 公開（公告）號: CN107153812A
• 公開（公告）日: 2017-09-12
• 發明（設計）人: 王書強;程思瀟;胡明輝;曾德威
• 申請（專利權）人: 深圳先進技術研究院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 深圳市科進知識產權代理事務所(普通合伙)44316
• 代理人: 趙勍毅

1.一種基于機器視覺的運動輔助方法，其特征在于，包括：

步驟a：采集至少一個運動項目的至少一個體式的標準動作視頻；

步驟b：采用深度學習算法根據所述標準動作視頻構建張量遞歸神經網絡模型；

步驟c：采集練習者的當前動作視頻，將所述當前動作視頻輸入張量遞歸神經網絡模型進行識別，并根據識別結果顯示與所述當前動作視頻對應的標準動作視頻。

2.根據權利要求1所述的基于機器視覺的運動輔助方法，其特征在于，所述步驟a還包括：將所述標準動作視頻分割成只包含單個動作的短視頻，以分割得到的短視頻作為訓練樣本構建動作視頻訓練集。

3.根據權利要求2所述的基于機器視覺的運動輔助方法，其特征在于，所述步驟a還包括：對所述動作視頻訓練集進行數據預處理；所述預處理包括：對所述動作視頻訓練集中的短視頻進行向下采樣處理，提取向下采樣處理后的短視頻中以人為中心的邊界框，裁剪掉所述邊界框之外的多余背景，并將剪裁后的短視頻幀由RGB圖轉化為灰度圖。

4.根據權利要求2或3所述的基于機器視覺的運動輔助方法，其特征在于，步驟b中，所述構建張量遞歸神經網絡模型具體包括：設計張量卷積神經網絡，自動學習所述動作視頻訓練集中每個短視頻的時空特征；并通過所述張量卷積神經網絡學習到的時空特征訓練張量遞歸神經網絡模型。

5.根據權利要求4所述的基于機器視覺的運動輔助方法，其特征在于，所述張量遞歸神經網絡模型包括輸入層、第一卷積層、第一校正層、第一池化層、第二卷積層、第二校正層、第二池化層、第三卷積層、張量遞歸層和輸出層；其中，所述輸入層、第一卷積層、第一校正層、第一池化層、第二卷積層、第二校正層、第二池化層、第三卷積層依次連接，所述張量遞歸層全連接到第三卷積層，所述輸出層全連接到張量遞歸層。

6.一種基于機器視覺的運動輔助系統，其特征在于，包括：

指導裝置：用于采集至少一個運動項目的至少一個體式的標準動作視頻，采用深度學習算法根據所述標準動作視頻構建張量遞歸神經網絡模型；并采集練習者的當前動作視頻，將所述當前動作視頻輸入張量遞歸神經網絡模型進行識別；

顯示裝置：用于根據識別結果顯示與所述當前動作視頻對應的標準動作視頻。

7.根據權利要求6所述的基于機器視覺的運動輔助系統，其特征在于，所述指導裝置還包括第一數據預處理模塊，所述第一數據預處理模塊用于將所述標準動作視頻分割成只包含單個動作的短視頻，以分割得到的短視頻作為訓練樣本構建動作視頻訓練集。

8.根據權利要求7所述的基于機器視覺的運動輔助系統，其特征在于，所述指導裝置還包括第二數據預處理模塊，所述第二數據預處理模塊用于對所述動作視頻訓練集中的短視頻進行向下采樣處理，提取向下采樣處理后的短視頻中以人為中心的邊界框，裁剪掉所述邊界框之外的多余背景，并將剪裁后的短視頻幀由RGB圖轉化為灰度圖。

9.根據權利要求7或8所述的基于機器視覺的運動輔助系統，其特征在于，所述指導裝置還包括模型構建模塊，所述模型構建模塊用于設計張量卷積神經網絡，自動學習所述動作視頻訓練集中每個短視頻的時空特征；并通過所述張量卷積神經網絡學習到的時空特征訓練張量遞歸神經網絡模型。

10.根據權利要求9所述的基于機器視覺的運動輔助系統，其特征在于，所述張量遞歸神經網絡模型包括輸入層、第一卷積層、第一校正層、第一池化層、第二卷積層、第二校正層、第二池化層、第三卷積層、張量遞歸層和輸出層；所述輸入層、第一卷積層、第一校正層、第一池化層、第二卷積層、第二校正層、第二池化層、第三卷積層依次連接，所述張量遞歸層全連接到第三卷積層，所述輸出層全連接到張量遞歸層。