[發(fā)明專利]一種基于深度學(xué)習(xí)的運(yùn)動(dòng)評(píng)判指導(dǎo)方法和系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011281718.4
• 申請(qǐng)日: 2020-11-17
• 公開（公告）號(hào): CN112101315B
• 公開（公告）日: 2021-02-19
• 發(fā)明（設(shè)計(jì)）人: 李宇欣;裘實(shí)
• 申請(qǐng)（專利權(quán)）人: 北京健康有益科技有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62
• 代理公司: 北京格允知識(shí)產(chǎn)權(quán)代理有限公司 11609
• 代理人: 張莉瑜

1.一種基于深度學(xué)習(xí)的運(yùn)動(dòng)評(píng)判指導(dǎo)方法，其特征在于，包括：

A、采集用戶動(dòng)作的圖像信息；

B、對(duì)所述圖像信息進(jìn)行預(yù)處理；

C、檢測(cè)預(yù)處理后的所述圖像信息中的人體的關(guān)鍵點(diǎn)信息；

D、根據(jù)所述人體的關(guān)鍵點(diǎn)信息獲取用戶動(dòng)作信息；

E、將用戶動(dòng)作信息與標(biāo)準(zhǔn)動(dòng)作信息進(jìn)行比對(duì)分析，以獲取比對(duì)分析結(jié)果；

F、將所述比對(duì)分析結(jié)果提供給所述用戶；

其中，所述步驟B，包括：

對(duì)所述圖像信息進(jìn)行動(dòng)作分解處理，得到所述用戶的每一個(gè)動(dòng)作信息，其中，所述圖像信息包括有至少一個(gè)所述用戶根據(jù)預(yù)設(shè)動(dòng)作指令完成的至少一個(gè)動(dòng)作信息，所述動(dòng)作信息中包括至少一個(gè)所述關(guān)鍵點(diǎn)信息；

所述步驟E，包括：

所述比對(duì)分析結(jié)果中包括對(duì)比分?jǐn)?shù)和指導(dǎo)建議，其中，所述指導(dǎo)建議用于表征對(duì)所述用戶所完成的動(dòng)作的指導(dǎo)建議；

所述對(duì)比分?jǐn)?shù)通過(guò)如下公式確定：

其中，G用于表征所述用戶p的所述圖像信息的對(duì)比分?jǐn)?shù)，i用于表征第n個(gè)動(dòng)作信息中的關(guān)鍵點(diǎn)信息個(gè)數(shù)，d_p2用于表征所述用戶p在任一動(dòng)作信息中的每一個(gè)關(guān)鍵點(diǎn)和相對(duì)應(yīng)的所述標(biāo)準(zhǔn)動(dòng)作信息中的關(guān)鍵點(diǎn)之間的歐氏距離，用于表征所述用戶p在第n個(gè)動(dòng)作信息中所占的面積，σ_i用于表征第i個(gè)關(guān)鍵點(diǎn)的歸一化因子，δ（v_pi=1）用于表征所述用戶p的第i個(gè)關(guān)鍵點(diǎn)在該動(dòng)作信息上可見，n用于表征所述用戶p的圖像信息中所包括的動(dòng)作信息的數(shù)量，t_n用于表征第n個(gè)標(biāo)準(zhǔn)分析點(diǎn)；其中，若關(guān)鍵點(diǎn)在該動(dòng)作信息上不可見，則該關(guān)鍵點(diǎn)信息不參與所述步驟E中的比對(duì)分析過(guò)程。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟C，包括：

C1、對(duì)捕捉到的運(yùn)動(dòng)畫面進(jìn)行人體目標(biāo)檢測(cè)，以獲取運(yùn)動(dòng)中的目標(biāo)對(duì)象；

C2、對(duì)所述目標(biāo)對(duì)象進(jìn)行人體的關(guān)鍵點(diǎn)信息檢測(cè)。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述步驟E包括：

將標(biāo)準(zhǔn)分析時(shí)間點(diǎn)對(duì)應(yīng)的用戶動(dòng)作信息與該標(biāo)準(zhǔn)分析時(shí)間點(diǎn)對(duì)應(yīng)的標(biāo)準(zhǔn)動(dòng)作信息進(jìn)行比對(duì)分析，以獲取比對(duì)分析結(jié)果。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述標(biāo)準(zhǔn)分析時(shí)間點(diǎn)的獲取方式為：

M1、將標(biāo)準(zhǔn)動(dòng)作信息中的動(dòng)作分解為基礎(chǔ)單元?jiǎng)幼鳎?/p>

M2、在基礎(chǔ)單元?jiǎng)幼鞯钠鹬裹c(diǎn)及起止點(diǎn)之間選取指定數(shù)量的時(shí)間點(diǎn)作為標(biāo)準(zhǔn)分析時(shí)間點(diǎn)。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟C之前還包括檢測(cè)模型的構(gòu)建，所述檢測(cè)模型包括人體目標(biāo)檢測(cè)子模型以及目標(biāo)個(gè)體的關(guān)鍵點(diǎn)檢測(cè)子模型；其中，所述關(guān)鍵點(diǎn)檢測(cè)子模型的構(gòu)建步驟包括：

獲取指定數(shù)量的標(biāo)準(zhǔn)動(dòng)作的圖像信息；

根據(jù)所述圖像信息提取其中人體的關(guān)鍵關(guān)節(jié)數(shù)據(jù)，并對(duì)所述關(guān)鍵關(guān)節(jié)數(shù)據(jù)進(jìn)行預(yù)處理；并將預(yù)處理之后的關(guān)鍵節(jié)點(diǎn)數(shù)據(jù)作為訓(xùn)練集；

基于殘差網(wǎng)絡(luò)，以及同時(shí)將該殘差網(wǎng)絡(luò)與多層卷積和反卷積結(jié)合的形式，利用所述訓(xùn)練集進(jìn)行模型的訓(xùn)練，以獲取訓(xùn)練后的用于進(jìn)行關(guān)鍵點(diǎn)信息檢測(cè)的關(guān)鍵點(diǎn)檢測(cè)子模型。

6.根據(jù)權(quán)利要求1至5中任一所述的方法，其特征在于，所述步驟E，包括：

所述比對(duì)分析結(jié)果中包括對(duì)比分?jǐn)?shù)和指導(dǎo)建議，其中，所述指導(dǎo)建議用于表征對(duì)所述用戶所完成的動(dòng)作的指導(dǎo)建議；

判斷所述對(duì)比分?jǐn)?shù)是否大于預(yù)設(shè)閾值分?jǐn)?shù)；

如果所述對(duì)比分?jǐn)?shù)大于所述預(yù)設(shè)閾值分?jǐn)?shù)，則確定所述對(duì)比分?jǐn)?shù)所對(duì)應(yīng)的所述用戶所完成的動(dòng)作標(biāo)準(zhǔn)；

如果所述對(duì)比分?jǐn)?shù)不大于所述預(yù)設(shè)閾值分?jǐn)?shù)，則根據(jù)與所述對(duì)比分?jǐn)?shù)所對(duì)應(yīng)的所述用戶的關(guān)鍵點(diǎn)信息，確定針對(duì)所述用戶的指導(dǎo)建議。