[發(fā)明專利]一種基于3D重構(gòu)的智能瑜伽動作指導(dǎo)系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202011369151.6
• 申請日: 2020-11-30
• 公開（公告）號: CN112422946B
• 公開（公告）日: 2023-01-31
• 發(fā)明（設(shè)計）人: 黃穎;李焱暉;陳燦媛;董一英
• 申請（專利權(quán)）人: 重慶郵電大學(xué)
• 主分類號: H04N13/275
• 分類號: H04N13/275;H04N13/204;H04N13/10;G06T19/00;G06T17/00;G06F3/01
• 代理公司: 重慶輝騰律師事務(wù)所 50215
• 代理人: 王海軍

1.一種基于3D重構(gòu)的智能瑜伽動作指導(dǎo)系統(tǒng)，其特征在于，所述指導(dǎo)系統(tǒng)包括：

視頻采集系統(tǒng)，用于拍攝用戶運動視頻；

3D重構(gòu)模塊，將所述視頻采集系統(tǒng)采集到的運動視頻進行重建，使用稀疏到密集的并行全局優(yōu)化方法將采集到的運動視頻數(shù)據(jù)流進行視頻幀與視頻幀之間的對應(yīng)關(guān)系匹配，先使用稀疏的SIFT特征點進行粗糙準(zhǔn)配，然后使用稠密的幾何的光度連續(xù)性進行細(xì)致準(zhǔn)配；使用了分層的本地到全局的優(yōu)化方法進行位姿優(yōu)化，總共分為兩層，在第一層，每連續(xù)10個視頻幀組成一個塊，第一視頻幀作為關(guān)鍵幀，對這個塊內(nèi)所有視頻幀進行局部位姿優(yōu)化；在第二層，只使用所有塊的關(guān)鍵幀進行相互關(guān)聯(lián)，然后進行全局位姿優(yōu)化，在優(yōu)化后的位姿處重新對視頻幀進行整合，并形成用戶3D運動模型；

模型匹配系統(tǒng)，接收用戶3D運動模型，并從標(biāo)準(zhǔn)3D運動模型庫中讀取其中的標(biāo)準(zhǔn)3D運動模型，選擇出與用戶3D運動模型相似度最高的標(biāo)準(zhǔn)3D運動模型，并得出指導(dǎo)信息產(chǎn)生糾正引導(dǎo)視頻；

視頻同步調(diào)整模塊，判斷接收到的用戶運動視頻的同步程度，通過用戶手勢生成用于控制標(biāo)準(zhǔn)動作視頻播放速率和播放進度的控制指令；

播放控制模塊，接收并響應(yīng)于所述控制指令，從標(biāo)準(zhǔn)動作視頻庫中讀取出對應(yīng)的標(biāo)準(zhǔn)運動視頻；

視頻合并模塊，將接收到的用戶運動視頻、標(biāo)準(zhǔn)動作視頻、糾正引導(dǎo)視頻、指導(dǎo)信息合并成為一個視頻，并通過屏幕反饋給用戶。

2.根據(jù)權(quán)利要求1所述的一種基于3D重構(gòu)的智能瑜伽動作指導(dǎo)系統(tǒng)，其特征在于，所述視頻采集系統(tǒng)包括至少兩個攝像頭，所述至少兩個攝像頭的角度控制采集人體的深度。

3.根據(jù)權(quán)利要求1所述的一種基于3D重構(gòu)的智能瑜伽動作指導(dǎo)系統(tǒng)，其特征在于，所述3D重構(gòu)模塊構(gòu)建的用戶3D模型的過程包括：

從拍攝的用戶運動視頻中識別并定位出人體；

計算出用戶運動視頻中用戶目標(biāo)的深度，并根據(jù)該深度重構(gòu)出三維空間；

將人體3D模型放置到三維空間中，并標(biāo)識出人體關(guān)節(jié)點，并從這些人體關(guān)節(jié)點選擇出標(biāo)志點；

調(diào)節(jié)所述標(biāo)志點，基于背景差分的人體運動檢測算法使人體3D模型與拍攝出的用戶姿勢吻合，從而構(gòu)建出用戶3D運動模型。

4.根據(jù)權(quán)利要求1所述的一種基于3D重構(gòu)的智能瑜伽動作指導(dǎo)系統(tǒng)，其特征在于，所述模型匹配系統(tǒng)包括坐標(biāo)系構(gòu)建模塊、模型導(dǎo)入模塊、尺度縮放模塊、匹配模塊；所述坐標(biāo)系構(gòu)建模塊用于以3D空間的中間點作為三維坐標(biāo)系的原點，原點的上下軸作為Z軸，原點的左右軸作為X軸，原點的前后軸作為Y軸，以此建立三維左手坐標(biāo)系或者三維右手坐標(biāo)系；所述模型導(dǎo)入模塊用于將用戶3D運動模型和標(biāo)準(zhǔn)3D運動模型導(dǎo)入同一三維坐標(biāo)系中；所述尺度縮放模塊用于調(diào)整用戶3D運動模型的尺度，并與標(biāo)準(zhǔn)3D運動模型保持同一尺度；所述匹配模塊用于根據(jù)用戶3D模型的原點以及左側(cè)關(guān)節(jié)路徑或者右側(cè)關(guān)節(jié)路徑進行用戶3D運動模型與標(biāo)準(zhǔn)3D運動模型的匹配。

5.根據(jù)權(quán)利要求4所述的一種基于3D重構(gòu)的智能瑜伽動作指導(dǎo)系統(tǒng)，其特征在于，所述匹配模塊包括標(biāo)志點拾取單元、計算單元、補償單元以及差分刻畫單元；所述標(biāo)志點拾取單元用于拾取出用戶3D運動模型和標(biāo)準(zhǔn)3D運動模型中的標(biāo)志點，所述計算單元用于計算出用戶3D運動模型和標(biāo)準(zhǔn)3D運動模型中各個標(biāo)志點的運動矢量和模的偏移量以及在同一坐標(biāo)系中的歐氏距離；所述補償單元用于將從計算單元處獲取的偏移量和歐氏距離對用戶3D運動模型進行位姿補償；所述差分刻畫單元用于將標(biāo)準(zhǔn)3D運動模型與位姿補償后的用戶3D運動模型進行差分計算，計算出標(biāo)志點的差分視頻并將標(biāo)志點的差分矢量方向引出，作為糾正引導(dǎo)視頻。

6.根據(jù)權(quán)利要求5所述的一種基于3D重構(gòu)的智能瑜伽動作指導(dǎo)系統(tǒng)，其特征在于，所述補償單元將滿足預(yù)設(shè)的偏移量閾值的標(biāo)志點所計算出的偏移量補償?shù)讲粷M足預(yù)設(shè)的歐式距離閾值的標(biāo)志點上，將滿足預(yù)設(shè)的歐式距離閾值的標(biāo)志點的歐氏距離補償?shù)讲粷M足預(yù)設(shè)的偏移量閾值的標(biāo)志點上。