[發(fā)明專利]一種基于深度學(xué)習(xí)的運動員行為質(zhì)量評估方法

在審

• 申請?zhí)枺?/td>: 202111193385.4
• 申請日: 2021-10-13
• 公開（公告）號: CN113989920A
• 公開（公告）日: 2022-01-28
• 發(fā)明（設(shè)計）人: 張立華;王順利;楊鼎康;鄺昊鵬
• 申請（專利權(quán)）人: 復(fù)旦大學(xué)
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/40;G06K9/62;G06N3/04;G06N3/08;G06F9/451
• 代理公司: 上海科盛知識產(chǎn)權(quán)代理有限公司 31225
• 代理人: 蔡彭君

本發(fā)明涉及一種基于深度學(xué)習(xí)的運動員行為質(zhì)量評估方法，基于的評估系統(tǒng)包括人體跟蹤單元、人體姿勢估計單元、動作序列特征提取與增強單元，得分預(yù)測單元和顯示單元；視頻輸入至人體跟蹤單元，對視頻的各幀進(jìn)行目標(biāo)檢測，得到各幀的檢測框作為跟蹤結(jié)果，在顯示單元對跟蹤結(jié)果進(jìn)行可視化；人體姿勢估計單元獲取跟蹤結(jié)果，對各幀中運動員的姿勢進(jìn)行估計，得到關(guān)鍵點信息作為姿勢估計結(jié)果，在顯示單元對姿勢估計結(jié)果進(jìn)行可視化；動作序列特征提取與增強單元以視頻、跟蹤結(jié)果和姿勢估計結(jié)果作為輸入，進(jìn)行特征提取、特征增強和特征融合后得到視頻特征；得分預(yù)測單元以視頻特征為輸入，進(jìn)行全動作流程質(zhì)量評估和階段性行為質(zhì)量評估。

技術(shù)領(lǐng)域

本發(fā)明涉及運動員行為質(zhì)量評估技術(shù)領(lǐng)域，尤其是涉及一種基于深度學(xué)習(xí)的運動員行為質(zhì)量評估方法。

背景技術(shù)

近年來，隨著體育運動實時轉(zhuǎn)播技術(shù)的不斷發(fā)展，越來越多的正規(guī)體育賽事均對運動員的比賽進(jìn)行了全程錄像，并且對運動員的最終得分進(jìn)行了保存。如何更好地利用這些數(shù)據(jù)為運動員后續(xù)訓(xùn)練中的技能提升帶來更有效的幫助成為一個值得研究的問題。目前雖然已經(jīng)有一些算法通過視覺信息對運動員的姿勢進(jìn)行評估，但是僅僅局限在姿勢和短時動作序列感知的層次，不能夠?qū)﹂L時間的復(fù)雜動作序列進(jìn)行高效分析。因此體育運動訓(xùn)練中急需一種能夠自動對運動員動作序列進(jìn)行打分與評估的智能系統(tǒng)，以節(jié)約運動員訓(xùn)練階段的人力物力成本，提高訓(xùn)練效率。

現(xiàn)有技術(shù)中，針對運動員的姿勢與行為序列評估，現(xiàn)有的模型重點關(guān)注兩個技術(shù)點：運動感知技術(shù)和運動評估技術(shù)。

運動感知技術(shù)往往被首先考慮。運動感知指通過原始視頻和圖像信息對運動員的位置進(jìn)行定位、檢查運動員姿勢和語義分割。目前此類算法已經(jīng)很多，例如面向物體檢測技術(shù)的YOLO檢測器、面向姿勢估計任務(wù)的Alphapose算法和面向語義分割任務(wù)的Mask R-CNN。此類算法已經(jīng)在各類公開數(shù)據(jù)集中取得了優(yōu)良的性能，雖然能夠直接被運動評估系統(tǒng)所采用，但是這些算法均基于深度學(xué)習(xí)技術(shù)，運行過程對設(shè)備有較高的需求，限制了其使用場景。

在完成運動感知之后，需要使用運動評估技術(shù)對運動序列進(jìn)行整體評估，得到最終預(yù)測結(jié)果，并且對低分行為進(jìn)行檢測與反饋。目前雖然有一些工作對行為質(zhì)量評估模型進(jìn)行了設(shè)計，但是這些模型統(tǒng)一地將整個視頻信息做為輸入，忽略視頻中運動員和背景信息的差異性。這種無差別的特征提取與特征增強一方面會拖慢評估模型的運行效率，另一方面會導(dǎo)致視頻信息的混雜從而影響最終的行為質(zhì)量評估結(jié)果。

因此，現(xiàn)有技術(shù)的缺點主要體現(xiàn)在以下三個方面：

1、評估精度低：目前基于視頻的行為質(zhì)量評估技術(shù)都只將原始視頻作為輸入，通過3D卷積核(Convolution kernel)對視頻進(jìn)行特征提取，最終通過回歸器完成分?jǐn)?shù)預(yù)測。這種處理方法在特征提取過程中并沒有考慮前景和背景的差異性。例如運動員的運動區(qū)域應(yīng)當(dāng)受到更多關(guān)注，而不是背景的廣告和觀眾。這種統(tǒng)一處理方法會導(dǎo)致重要信息淹沒在繁雜的背景信息中，最終導(dǎo)致模型的評估性能變差。

2、運行速度慢：3D卷積網(wǎng)絡(luò)的訓(xùn)練和推理過程會占用大量的內(nèi)存，并且需要設(shè)備具備極高的算力。這些問題會導(dǎo)致視頻分析系統(tǒng)運行的延時過長，無法提供及時的行為質(zhì)量反饋，最終降低訓(xùn)練效率。因此低參數(shù)量、低計算量、高計算效率成為一個優(yōu)良行為質(zhì)量評估系統(tǒng)必備的特點。

3、可解釋性差：基于LSTM(Long Short-Term Memory)的行為質(zhì)量評估系統(tǒng)的信息處理過程共分為逐幀特征提取和特征聯(lián)合分析兩個大步驟。首先通過2D卷積神經(jīng)網(wǎng)絡(luò)對視頻中的每一幀進(jìn)行特征提取，之后使用LSTM對特征序列進(jìn)行聚合分析，最終完成行為質(zhì)量預(yù)測。此種方法只能對整個視頻進(jìn)行分析，無法精確到每個運動階段，因此無法對視頻進(jìn)行分段評估并提供改進(jìn)意見。

發(fā)明內(nèi)容