[發(fā)明專利]基于時(shí)間一致性的個(gè)性化運(yùn)動(dòng)姿態(tài)估計(jì)與分析方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110578414.2
• 申請(qǐng)日: 2021-05-26
• 公開（公告）號(hào): CN113255522B
• 公開（公告）日: 2023-05-05
• 發(fā)明（設(shè)計(jì)）人: 王露潼;楊承磊;鮑西雨;奚彧婷;鄭雅文;蓋偉
• 申請(qǐng)（專利權(quán)）人: 山東大學(xué)
• 主分類號(hào): G06V40/20
• 分類號(hào): G06V40/20;G06V10/34;G06V10/75;G06V10/764
• 代理公司: 濟(jì)南圣達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 37221
• 代理人: 張慶騫

本發(fā)明屬于智能運(yùn)動(dòng)輔助領(lǐng)域，提供了一種基于時(shí)間一致性的個(gè)性化運(yùn)動(dòng)姿態(tài)估計(jì)與分析方法及系統(tǒng)。其中，該方法包括識(shí)別教學(xué)視頻與學(xué)生自學(xué)視頻中的動(dòng)作，提取關(guān)鍵骨骼坐標(biāo)；對(duì)齊教學(xué)視頻與學(xué)生自學(xué)視頻中的不同步動(dòng)作，使視頻中的動(dòng)作速度一致；基于對(duì)齊教學(xué)視頻與學(xué)生自學(xué)視頻中每幀的關(guān)鍵骨骼坐標(biāo)角度偏差比與關(guān)節(jié)距離對(duì)動(dòng)作進(jìn)行度量，計(jì)算動(dòng)作差異度；根據(jù)動(dòng)作差異度生成姿態(tài)調(diào)整建議；根據(jù)動(dòng)作差異度及運(yùn)動(dòng)金字塔模型，生成從局部動(dòng)作到整體動(dòng)作的多尺度得分。其能夠清晰展現(xiàn)動(dòng)作過程中的每個(gè)細(xì)節(jié)，為用戶提供動(dòng)作指導(dǎo)意見，精確指出每個(gè)動(dòng)作的偏差。

技術(shù)領(lǐng)域

本發(fā)明屬于智能運(yùn)動(dòng)輔助領(lǐng)域，尤其涉及一種基于時(shí)間一致性的個(gè)性化運(yùn)動(dòng)姿態(tài)估計(jì)與分析方法及系統(tǒng)。

背景技術(shù)

本部分的陳述僅僅是提供了與本發(fā)明相關(guān)的背景技術(shù)信息，不必然構(gòu)成在先技術(shù)。

瑜伽、太極等運(yùn)動(dòng)有益于人的身心健康，但其動(dòng)作學(xué)習(xí)起來比較困難，往往需要專業(yè)教練面對(duì)面的示范與不斷糾錯(cuò)才能學(xué)好。由于受到時(shí)間、地點(diǎn)等因素的制約，更多的人只好通過觀看網(wǎng)絡(luò)視頻來學(xué)習(xí)。然而，因缺少專業(yè)的糾錯(cuò)指導(dǎo)，人們學(xué)習(xí)的動(dòng)作往往達(dá)不到標(biāo)準(zhǔn)，反而影響身體健康。智能運(yùn)動(dòng)輔助技術(shù)能夠輔助動(dòng)作學(xué)習(xí)，幫助學(xué)習(xí)者提高效率。但部分系統(tǒng)需要?jiǎng)硬对O(shè)備、kinect等專業(yè)設(shè)備，造價(jià)較高，難以普及。而基于單目視頻進(jìn)行運(yùn)動(dòng)分析無需昂貴專業(yè)設(shè)備，能夠打破時(shí)間和場(chǎng)景的限制，且能夠較為全面地分析人體動(dòng)作，幫助學(xué)習(xí)者矯正運(yùn)動(dòng)姿態(tài)。

據(jù)發(fā)明人了解，目前基于單目視頻的智能運(yùn)動(dòng)輔助學(xué)習(xí)方法仍存在以下問題：(1)基于視頻的動(dòng)作評(píng)估方法還不能很好的自動(dòng)對(duì)齊不同視頻之間的同一動(dòng)作。比如：太極等運(yùn)動(dòng)的動(dòng)作速度因人而異，即使同一人的速度也可能存在差異。不同視頻(如教學(xué)視頻與學(xué)習(xí)視頻)中的動(dòng)作難以同步，用戶無法同時(shí)對(duì)比觀看學(xué)習(xí)視頻與教學(xué)視頻，缺少動(dòng)作參照。(2)缺乏動(dòng)作糾正機(jī)制，不能評(píng)估人體多個(gè)部位動(dòng)作差異，用戶缺少反饋，無法得知?jiǎng)幼髌睢?dòng)作標(biāo)準(zhǔn)度等比對(duì)細(xì)節(jié)，難以開展學(xué)習(xí)。

發(fā)明內(nèi)容

為了解決上述背景技術(shù)中存在的技術(shù)問題，本發(fā)明提供一種基于時(shí)間一致性的個(gè)性化運(yùn)動(dòng)姿態(tài)估計(jì)與分析方法及系統(tǒng)，其能夠?qū)\(yùn)動(dòng)過程中每幀的動(dòng)作進(jìn)行分析，進(jìn)行多尺度比對(duì)，清晰展現(xiàn)動(dòng)作過程中的每個(gè)細(xì)節(jié)，為用戶提供動(dòng)作指導(dǎo)意見，精確指出每個(gè)動(dòng)作的偏差。

為了實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：

本發(fā)明的第一個(gè)方面提供一種基于時(shí)間一致性的個(gè)性化運(yùn)動(dòng)姿態(tài)估計(jì)與分析方法。

一種基于時(shí)間一致性的個(gè)性化運(yùn)動(dòng)姿態(tài)估計(jì)與分析方法，其包括：

識(shí)別教學(xué)視頻與學(xué)生自學(xué)視頻中的動(dòng)作，提取關(guān)鍵骨骼坐標(biāo)；

對(duì)齊教學(xué)視頻與學(xué)生自學(xué)視頻中的不同步動(dòng)作，使視頻中的動(dòng)作速度一致；

基于對(duì)齊教學(xué)視頻與學(xué)生自學(xué)視頻中每幀的關(guān)鍵骨骼坐標(biāo)角度偏差比與關(guān)節(jié)距離對(duì)動(dòng)作進(jìn)行度量，計(jì)算動(dòng)作差異度；

根據(jù)動(dòng)作差異度生成姿態(tài)調(diào)整建議；

根據(jù)動(dòng)作差異度及運(yùn)動(dòng)金字塔模型，生成從局部動(dòng)作到整體動(dòng)作的多尺度得分。

本發(fā)明的第二個(gè)方面提供一種基于時(shí)間一致性的個(gè)性化運(yùn)動(dòng)姿態(tài)估計(jì)與分析系統(tǒng)。

一種基于時(shí)間一致性的個(gè)性化運(yùn)動(dòng)姿態(tài)估計(jì)與分析系統(tǒng)，其包括：

姿態(tài)提取模塊，其用于識(shí)別教學(xué)視頻與學(xué)生自學(xué)視頻中的動(dòng)作，提取關(guān)鍵骨骼坐標(biāo)；

視頻對(duì)齊模塊，其用于對(duì)齊教學(xué)視頻與學(xué)生自學(xué)視頻中的不同步動(dòng)作，使視頻中的動(dòng)作速度一致；

動(dòng)作分析模塊，其用于基于對(duì)齊教學(xué)視頻與學(xué)生自學(xué)視頻中每幀的關(guān)鍵骨骼坐標(biāo)角度偏差比與關(guān)節(jié)距離對(duì)動(dòng)作進(jìn)行度量，計(jì)算動(dòng)作差異度；

反饋模塊，其用于根據(jù)動(dòng)作差異度生成姿態(tài)調(diào)整建議；