[發明專利]基于視頻圖像目標檢測的實時跳繩計數方法、裝置和設備

在審

• 申請號: 202110997092.5
• 申請日: 2021-08-27
• 公開（公告）號: CN113743273A
• 公開（公告）日: 2021-12-03
• 發明（設計）人: 李凡;鞏麗鑫;賀麗君
• 申請（專利權）人: 西安交通大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T7/00
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 安彥彥

本發明公開了一種基于視頻圖像目標檢測的實時跳繩計數方法、裝置和設備，通過符合算法要求的跳繩視頻，將視頻分解成視頻幀差圖像，在圖像上標注檢測目標和人體姿態類別，制作用于網絡訓練和預測的跳繩計數數據集；選擇FCOS目標檢測模型，并應用制作好的跳繩數據集訓練網絡；實時采集跳繩視頻幀圖像，用于后續跳繩計數；使用訓練和好FCOS網絡實時檢測跳繩視頻幀差圖像的人體目標和人體姿態類別，將人體姿態類別輸出給跳繩計數模塊；根據實時檢測到人體姿態類別得到的人體姿態序列設置一定的跳繩計數機制，進行實時計數；實時計數結果顯示模塊中，實時性顯示當前視頻幀圖像及從計數開始至當前計數個數，以實時檢驗跳繩計數效果。

技術領域

本發明屬于視頻圖像目標檢測技術領域，具體涉及一種基于視頻圖像目標檢測的實時跳繩計數方法、裝置和設備。

背景技術

隨著科技的發展，人工智能已經遍布生活中的各方各面，智能化設備代替人工已經成為當今時代的大勢所趨，而隨著體育越來越被重視，并且體育考試已經被列入到中考考試項目中，傳統的體育考試需要大量的人力進行各項目的計時計數，且存在著在體育考試項目結束后不能檢驗測試結果準確性的缺點，智能化體育考場、智能化體育考試設備的應用和普及可以大量的減少人力的投入，同時可以對考試數據進行保存記錄，隨時查驗考試過程中是否存在違規現象、測試結果是否準確，跳繩作為大部分省份體育中考中的測試項目，因此，針對于跳繩計數的智能化計數設備的研究至關重要。

現存的自動化跳繩計數方法大部分都是采用可以自動計數的跳繩進行計數，但是這種跳繩計數方法具備計數結果不能查驗的缺點。因此，隨著視頻圖像采集處理在生活中各方面被廣泛應用，并且視頻圖像可以進行保存和記錄，基于視頻圖像的智能化跳繩計數方法可以對智能體育考場進行監督，對測試結果進行留存查驗。

跳繩運動是根據人體是否跳過了跳繩來進行計數，相比于其他的體育考試運動(例如：仰臥起坐、引體向上等)在圖像中沒有確切的人體姿態計數標準，而是表現在時序上人體姿態呈現的周期性變化規律進行計數，當這種周期性變化規律消失時，即跳繩中斷。在完整的跳繩過程中，雙腳離地、落地呈現周期性的規律，并且當跳繩中斷時，雙腳多半處于落地狀態，并且較少的出現雙腳同時離地的現象。因此，可基于這種規律研究基于視頻圖像的魯棒性好的高性能的實時跳繩計數方法。

目標檢測是計算機視覺和數字圖像處理的一個熱門方向，廣泛應用于機器人導航、智能視頻監控、工業檢測、航空航天等諸多領域，通過計算機視覺減少對人力資本的消耗，具有重要的現實意義。它是圖像處理和計算機視覺學科的重要分支，也是智能監控系統的核心部分，由于深度學習的廣泛運用，目標檢測算法得到了較為快速的發展。目標檢測任務不但可以實現對目標的檢測也可以實現對檢測目標的類別識別，因此基于目標檢測的跳繩計數算法有其研究的價值。

發明內容

針對智能體育考場的需求而應用自動計數跳繩的跳繩計數結果準確性不能保證，計數結果不能查驗，且現存的基于視頻圖像的跳繩計數方法準確率不足不能實現實時計數，本發明提供基于視頻圖像目標檢測的實時跳繩計數方法、裝置和設備。

本發明采用如下技術方案來實現：

基于視頻圖像目標檢測的實時跳繩計數方法，包括以下步驟：

S1、跳繩數據集制作：拍攝和搜集的符合要求的跳繩視頻，將跳繩視頻分解成視頻幀差圖像，在視頻幀差圖像上標注檢測目標和人體姿態類別，不同視頻中有效的幀差圖像組成用于訓練目標檢測網絡的跳繩數據集；

S2、模型選取與訓練：選擇目標檢測網絡，并應用制作好的跳繩數據集訓練目標檢測網絡，得到目標檢測模型；

S3、視頻采集：實時采集跳繩視頻幀圖像；

S4、目標檢測：根據視頻采集模塊實時采集到的視頻幀圖像，計算當前視頻幀圖像與前一視頻幀圖像的幀差圖像，使用訓練好的目標檢測模型實時檢測跳繩視頻幀差圖像的人體目標和人體姿態類別；