[發(fā)明專利]一種基于視覺追蹤控制的肢體康復(fù)訓(xùn)練與評(píng)估系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110326924.0
• 申請(qǐng)日: 2021-03-26
• 公開（公告）號(hào): CN113100755B
• 公開（公告）日: 2023-01-24
• 發(fā)明（設(shè)計(jì)）人: 陳玲玲;李迎熙;劉作軍;張杰;劉通;尹健
• 申請(qǐng)（專利權(quán)）人: 河北工業(yè)大學(xué)
• 主分類號(hào): A61B5/11
• 分類號(hào): A61B5/11
• 代理公司: 天津創(chuàng)智睿誠(chéng)知識(shí)產(chǎn)權(quán)代理有限公司 12251
• 代理人: 王海濱

1.一種基于視覺追蹤控制的肢體康復(fù)訓(xùn)練與評(píng)估系統(tǒng)，其特征在于，包括：

圖像采集單元，用于采集用戶的受訓(xùn)練肢體的運(yùn)動(dòng)圖像數(shù)據(jù)；

頭戴式顯示與控制模塊，用于為用戶提供人機(jī)交互操作界面，并通過識(shí)別用戶的眼部動(dòng)作生成相應(yīng)的控制指令；

康復(fù)器具，用于對(duì)用戶的肢體進(jìn)行康復(fù)運(yùn)動(dòng)訓(xùn)練，其具有主動(dòng)訓(xùn)練模式、被動(dòng)訓(xùn)練模式以及跟隨訓(xùn)練模式三種工作模式，其中被動(dòng)訓(xùn)練模式以及跟隨訓(xùn)練模式下均有助力電機(jī)帶動(dòng)轉(zhuǎn)軸運(yùn)動(dòng)，主動(dòng)訓(xùn)練模式下助力電機(jī)默認(rèn)不啟動(dòng)；所述康復(fù)器具能夠接收來(lái)自頭戴式顯示與控制模塊的控制指令選擇各類模式；所述康復(fù)器具在與肢體接觸的部位設(shè)置有壓力傳感器，用于采集肢體與康復(fù)器具之間的壓力數(shù)據(jù)；

監(jiān)測(cè)與評(píng)估模塊，與圖像采集單元、康復(fù)器具和頭戴式顯示與控制模塊進(jìn)行通訊連接；主動(dòng)訓(xùn)練模式下，監(jiān)測(cè)與評(píng)估模塊通過處理圖像采集單元采集的深度圖像數(shù)據(jù)，獲得用戶的肢體骨架關(guān)鍵節(jié)點(diǎn)運(yùn)動(dòng)數(shù)據(jù)，并根據(jù)肢體骨架關(guān)鍵節(jié)點(diǎn)運(yùn)動(dòng)數(shù)據(jù)對(duì)肢體運(yùn)動(dòng)效果進(jìn)行分析評(píng)估；跟隨訓(xùn)練模式下，監(jiān)測(cè)與評(píng)估模塊通過處理康復(fù)器具的壓力傳感器采集的壓力數(shù)據(jù)進(jìn)行訓(xùn)練效果的分析；監(jiān)測(cè)與評(píng)估模塊得到的分析評(píng)估結(jié)果會(huì)發(fā)送給頭戴式顯示與控制模塊反饋給用戶；

監(jiān)測(cè)與評(píng)估模塊內(nèi)設(shè)置有骨架提取單元及分析評(píng)估單元；所述骨架提取單元，用于提取用戶肢體骨架關(guān)鍵節(jié)點(diǎn)的三維數(shù)據(jù)信息：首先通過訓(xùn)練好的機(jī)器學(xué)習(xí)模型識(shí)別出各臺(tái)深度相機(jī)對(duì)用戶的肢體骨架關(guān)鍵節(jié)點(diǎn)，再根據(jù)4臺(tái)深度相機(jī)之間的三維變換矩陣，將各深度相機(jī)識(shí)別的肢體骨架進(jìn)行對(duì)齊融合，從而得到最終的受試者肢體骨架關(guān)鍵節(jié)點(diǎn)的三維數(shù)據(jù)；所述分析評(píng)估單元，用于對(duì)主動(dòng)訓(xùn)練模式及跟隨訓(xùn)練模式的用戶肢體運(yùn)動(dòng)訓(xùn)練效果進(jìn)行評(píng)估；

骨架提取單元的人體運(yùn)動(dòng)識(shí)別模型的構(gòu)建步驟如下：

S1：成矩陣布置好深度相機(jī)組的4臺(tái)深度相機(jī)，通過4臺(tái)深度相機(jī)同時(shí)采集多位受試者時(shí)間序列的深度圖像數(shù)據(jù)，將采集的數(shù)據(jù)發(fā)送給計(jì)算機(jī)端進(jìn)行處理；

S2：根據(jù)上述獲得的受試者的深度圖像數(shù)據(jù)，構(gòu)建好每臺(tái)深度相機(jī)的人體各關(guān)鍵點(diǎn)部位的人體姿態(tài)估計(jì)模型；

S3：對(duì)4臺(tái)深度相機(jī)進(jìn)行標(biāo)定，確定4臺(tái)深度相機(jī)的三維變換矩陣；

在上述方案中，步驟S2中，采用OpenPose模型進(jìn)行人體對(duì)象的關(guān)鍵點(diǎn)識(shí)別，具體步驟為：

S2.1：對(duì)相機(jī)組采集到的深度圖像數(shù)據(jù)采用深度圖像分隔策略，分隔前后景圖像，確定每個(gè)受試者的人體輪廓區(qū)域，將各像素點(diǎn)分類，識(shí)別分離出人體的各關(guān)鍵節(jié)點(diǎn)部位信息，提取人體各關(guān)鍵節(jié)點(diǎn)部位的深度特征信息，以用于訓(xùn)練人體不同關(guān)鍵節(jié)點(diǎn)部位特征的分類器，區(qū)分人體關(guān)鍵節(jié)點(diǎn)部位特征公式為：

其中，x為深度圖像素點(diǎn)的像素值，d_l(x)是x像素值在深度圖像t中的深度值，θ＝(σ，δ)是鏡頭偏移向量，1/d_l(x)為處理人體尺寸縮放，t用作標(biāo)記圖像；

S2.2：搭建每臺(tái)深度相機(jī)的OpenPose模型

人體關(guān)鍵點(diǎn)識(shí)別通過實(shí)時(shí)2D姿態(tài)估計(jì)算法進(jìn)行分析，得到每個(gè)相機(jī)視角下受試者的2D運(yùn)動(dòng)姿態(tài)信息其中，實(shí)時(shí)2D姿態(tài)估計(jì)算法采用OpenPose算法，對(duì)于每一個(gè)圖像幀，OpenPose算法計(jì)算輸出以下信息：其中代表第v臺(tái)相機(jī)中第i個(gè)關(guān)鍵點(diǎn)的橫坐標(biāo)、縱坐標(biāo)，代表第v臺(tái)相機(jī)中第i個(gè)關(guān)鍵點(diǎn)和與第i個(gè)關(guān)鍵點(diǎn)相鄰的第e個(gè)關(guān)鍵點(diǎn)的連接概率，為OpenPose算法中的PAF分?jǐn)?shù)，通過部署每臺(tái)相機(jī)的OpenPose模型得到原始人體骨骼圖像，其中關(guān)鍵點(diǎn)的序號(hào)與其位置是唯一對(duì)應(yīng)的；

所述的人體關(guān)鍵節(jié)點(diǎn)部位為鼻、頸部、左肩、右肩、左肘、右肘、左手腕、右手腕、左腰、右腰、左膝、右膝、左腳踝和右腳踝；

步驟S3中，讓一名受試者進(jìn)入4臺(tái)深度相機(jī)中間的采集區(qū)，根據(jù)每臺(tái)相機(jī)搭建好的OpenPose模型對(duì)此受試者進(jìn)行人體骨骼關(guān)鍵點(diǎn)獲取，受試者的三個(gè)關(guān)鍵節(jié)點(diǎn)i₁、i₂和i₃作為人體的基準(zhǔn)點(diǎn)集，計(jì)算4臺(tái)深度相機(jī)的三維變換矩陣，即旋轉(zhuǎn)和平移矩陣；選取一臺(tái)相機(jī)中獲取的較為完整人體骨骼序列作為基準(zhǔn)骨架，即L_B，同時(shí)定義其他相機(jī)中獲取的三個(gè)骨架序列分別為L(zhǎng)₁、L₂和L₃，分別求L₁、L₂和L₃相對(duì)于L_B的旋轉(zhuǎn)矩陣和平移矩陣，利用變換矩陣將L₁、L₂和L₃三個(gè)骨架序列變換到L_B所在坐標(biāo)系下；利用三維剛性變換來(lái)求解變換矩陣，計(jì)算L_K(k＝1,2,3)所取點(diǎn)集{i₁ i₂ i₃}的中心點(diǎn)P_LK和L_B所取點(diǎn)集{i₁ i₂ i₃}的中心點(diǎn)P_LB，計(jì)算公式為：

再將L_K與L_B原有點(diǎn)集重新中心化，計(jì)算式為：

計(jì)算協(xié)方差矩陣通過支持向量機(jī)對(duì)協(xié)方差矩陣C進(jìn)行分解，求得旋轉(zhuǎn)矩陣R和平移矩陣T，得到相機(jī)之間的變換矩陣，計(jì)算式為：

完成標(biāo)定后，將由OpenPose算法得到的二維關(guān)鍵點(diǎn)坐標(biāo)與深度相機(jī)獲得的深度數(shù)據(jù)融合獲得三維關(guān)鍵點(diǎn)空間坐標(biāo)。