[發(fā)明專利]基于深度學(xué)習(xí)的無(wú)標(biāo)志點(diǎn)上肢運(yùn)動(dòng)分析方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010143073.1
• 申請(qǐng)日: 2020-03-04
• 公開（公告）號(hào): CN111369626B
• 公開（公告）日: 2023-05-16
• 發(fā)明（設(shè)計(jì)）人: 劉東威
• 申請(qǐng)（專利權(quán)）人: 劉東威
• 主分類號(hào): G06T7/73
• 分類號(hào): G06T7/73;G06T7/579;G06V40/20;G06N3/0442;G06N3/0464;G06N3/08
• 代理公司: 北京細(xì)軟智谷知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11471
• 代理人: 葛鐘

本申請(qǐng)涉及基于深度學(xué)習(xí)的無(wú)標(biāo)志點(diǎn)上肢運(yùn)動(dòng)分析方法及系統(tǒng)，屬于上肢運(yùn)動(dòng)分析領(lǐng)域技術(shù)領(lǐng)域，其方法包括獲取使用者在做上肢功能運(yùn)動(dòng)時(shí)的圖像和深度信息；基于圖像和深度信息進(jìn)行逆運(yùn)動(dòng)學(xué)計(jì)算處理，得到上肢運(yùn)動(dòng)角度數(shù)據(jù)；應(yīng)用預(yù)先訓(xùn)練好的深度學(xué)習(xí)模型，對(duì)上肢運(yùn)動(dòng)角度數(shù)據(jù)進(jìn)行修正，以得到最終的上肢運(yùn)動(dòng)學(xué)參數(shù)。本申請(qǐng)的技術(shù)方案，有利于更準(zhǔn)確的分析/評(píng)估上肢運(yùn)動(dòng)學(xué)參數(shù)。

技術(shù)領(lǐng)域

本申請(qǐng)屬于上肢運(yùn)動(dòng)分析領(lǐng)域技術(shù)領(lǐng)域，具體涉及一種基于深度學(xué)習(xí)的無(wú)標(biāo)志點(diǎn)上肢運(yùn)動(dòng)分析方法及系統(tǒng)。

背景技術(shù)

上肢運(yùn)動(dòng)學(xué)分析(例如對(duì)于拿取、推、拉、投擲等進(jìn)行的運(yùn)動(dòng)分析)，在運(yùn)動(dòng)控制、運(yùn)動(dòng)訓(xùn)練及技術(shù)分析、神經(jīng)生理學(xué)、康復(fù)訓(xùn)練等領(lǐng)域都有著廣泛的應(yīng)用?，F(xiàn)有的上肢運(yùn)動(dòng)分析技術(shù)大體分可為主觀分析和客觀分析兩種。主觀分析中，一般采用臨床量表評(píng)估，其主要問(wèn)題是有很大的評(píng)估者內(nèi)部和評(píng)估者間的差異，可靠性較低。

而現(xiàn)有的客觀上肢運(yùn)動(dòng)分析技術(shù)中包括應(yīng)用基于高速攝像機(jī)的運(yùn)動(dòng)捕捉系統(tǒng)的分析技術(shù)。該技術(shù)中，人體環(huán)節(jié)運(yùn)動(dòng)數(shù)據(jù)一般通過(guò)基于視頻影像的運(yùn)動(dòng)捕捉系統(tǒng)來(lái)采集和處理，該系統(tǒng)一般由多個(gè)高速紅外攝像機(jī)組成，可以記錄貼在人體骨性標(biāo)記點(diǎn)的被動(dòng)或主動(dòng)的反光球在三維空間的運(yùn)動(dòng)軌跡，進(jìn)而應(yīng)用逆運(yùn)動(dòng)學(xué)算法計(jì)算運(yùn)動(dòng)學(xué)參數(shù)(關(guān)節(jié)角度、角速度、角加速度)。這類基于標(biāo)記點(diǎn)的動(dòng)作捕捉系統(tǒng)(下文簡(jiǎn)稱“標(biāo)記點(diǎn)系統(tǒng)”)被廣泛應(yīng)用于科學(xué)研究和臨床評(píng)估中。標(biāo)記點(diǎn)系統(tǒng)的準(zhǔn)確性、可靠性和可重復(fù)性得到了廣泛的驗(yàn)證。但是由于需要多個(gè)價(jià)格昂貴的攝像頭、專門的實(shí)驗(yàn)場(chǎng)所和技術(shù)員，標(biāo)記點(diǎn)系統(tǒng)很難應(yīng)用在經(jīng)費(fèi)或場(chǎng)地受限的醫(yī)療機(jī)構(gòu)、病人家里、室外、運(yùn)動(dòng)場(chǎng)或者其他公共場(chǎng)所中。

現(xiàn)有客觀上肢運(yùn)動(dòng)分析技術(shù)中還包括應(yīng)用基于深度傳感器的無(wú)標(biāo)志點(diǎn)運(yùn)動(dòng)分析系統(tǒng)的分析技術(shù)。如采用微軟的Kinect技術(shù)，應(yīng)用深度傳感器和隨機(jī)決策森林算法來(lái)進(jìn)行運(yùn)動(dòng)分析，Kinect?SDK?2.0能夠?qū)崟r(shí)的獲取人體關(guān)節(jié)點(diǎn)的骨架模型，并能存儲(chǔ)各關(guān)節(jié)位置在運(yùn)動(dòng)中的三維空間坐標(biāo)及對(duì)應(yīng)的時(shí)間，進(jìn)而此類系統(tǒng)通過(guò)直接調(diào)取關(guān)節(jié)三維空間和時(shí)間信息來(lái)進(jìn)行運(yùn)動(dòng)分析。但是由于該系統(tǒng)的空間信息相比于時(shí)間信息的準(zhǔn)確性更差，尤其是關(guān)節(jié)運(yùn)動(dòng)學(xué)參數(shù)準(zhǔn)確性不能滿足相關(guān)要求，至今沒(méi)有直接應(yīng)用該系統(tǒng)進(jìn)行關(guān)節(jié)運(yùn)動(dòng)學(xué)(角度)評(píng)估的可能性。

此外，還存在為改進(jìn)準(zhǔn)確性，相關(guān)改進(jìn)的運(yùn)動(dòng)分析技術(shù)：

如在關(guān)節(jié)處貼置彩色標(biāo)志點(diǎn)，以使關(guān)節(jié)中心的位置識(shí)別更準(zhǔn)確，但該方法僅僅用于下肢矢狀面角度的運(yùn)動(dòng)分析，并未應(yīng)用到上肢功能運(yùn)動(dòng)評(píng)估中，且存在引入的標(biāo)志點(diǎn)在上肢運(yùn)動(dòng)分析時(shí)無(wú)法避免的遮擋問(wèn)題，增加了實(shí)驗(yàn)難度；如應(yīng)用多臺(tái)深度傳感器同時(shí)采集運(yùn)動(dòng)學(xué)數(shù)據(jù)來(lái)提高準(zhǔn)確性，但其存在系統(tǒng)調(diào)試?yán)щy成本高的問(wèn)題；再如引入模型擬合算法，將深度傳感器無(wú)標(biāo)志點(diǎn)系統(tǒng)得到的上肢運(yùn)動(dòng)學(xué)數(shù)據(jù)做為輸入，將三維運(yùn)動(dòng)分析系統(tǒng)得到的上肢運(yùn)動(dòng)學(xué)參數(shù)作為目標(biāo)，應(yīng)用線性回歸算法進(jìn)行模型擬合，但結(jié)果證明，該方法僅能夠提高肩關(guān)節(jié)內(nèi)收/外展角度的準(zhǔn)確度，實(shí)用度不高。

發(fā)明內(nèi)容

為至少在一定程度上克服相關(guān)技術(shù)中存在的問(wèn)題，本申請(qǐng)?zhí)峁┮环N基于深度學(xué)習(xí)的無(wú)標(biāo)志點(diǎn)上肢運(yùn)動(dòng)分析方法及系統(tǒng)，有助于提升上肢運(yùn)動(dòng)分析中獲取的關(guān)節(jié)運(yùn)動(dòng)學(xué)參數(shù)準(zhǔn)確性，更好地實(shí)現(xiàn)上肢運(yùn)動(dòng)分析。

為實(shí)現(xiàn)以上目的，本申請(qǐng)采用如下技術(shù)方案：

第一方面，

本申請(qǐng)?zhí)峁┮环N基于深度學(xué)習(xí)的無(wú)標(biāo)志點(diǎn)上肢運(yùn)動(dòng)分析方法，其包括：

獲取使用者在做上肢功能運(yùn)動(dòng)時(shí)的圖像和深度信息；

基于所述圖像和深度信息進(jìn)行逆運(yùn)動(dòng)學(xué)計(jì)算處理，得到上肢運(yùn)動(dòng)角度數(shù)據(jù)；

應(yīng)用預(yù)先訓(xùn)練好的深度學(xué)習(xí)模型，對(duì)所述上肢運(yùn)動(dòng)角度數(shù)據(jù)進(jìn)行修正，以得到最終的上肢運(yùn)動(dòng)學(xué)參數(shù)。

可選地，預(yù)先進(jìn)行如下步驟，以得到訓(xùn)練好的深度學(xué)習(xí)模型：

在受試者進(jìn)行上肢功能運(yùn)動(dòng)任務(wù)時(shí)，