[發(fā)明專利]基于視頻圖像目標(biāo)檢測的實(shí)時(shí)跳繩計(jì)數(shù)方法、裝置和設(shè)備

在審

• 申請?zhí)枺?/td>: 202110997092.5
• 申請日: 2021-08-27
• 公開（公告）號(hào): CN113743273A
• 公開（公告）日: 2021-12-03
• 發(fā)明（設(shè)計(jì)）人: 李凡;鞏麗鑫;賀麗君
• 申請（專利權(quán)）人: 西安交通大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06T7/00
• 代理公司: 西安通大專利代理有限責(zé)任公司 61200
• 代理人: 安彥彥

1.基于視頻圖像目標(biāo)檢測的實(shí)時(shí)跳繩計(jì)數(shù)方法，其特征在于，包括以下步驟：

S1、跳繩數(shù)據(jù)集制作：拍攝和搜集的符合要求的跳繩視頻，將跳繩視頻分解成視頻幀差圖像，在視頻幀差圖像上標(biāo)注檢測目標(biāo)和人體姿態(tài)類別，不同視頻中有效的幀差圖像組成用于訓(xùn)練目標(biāo)檢測網(wǎng)絡(luò)的跳繩數(shù)據(jù)集；

S2、模型選取與訓(xùn)練：選擇目標(biāo)檢測網(wǎng)絡(luò)，并應(yīng)用制作好的跳繩數(shù)據(jù)集訓(xùn)練目標(biāo)檢測網(wǎng)絡(luò)，得到目標(biāo)檢測模型；

S3、視頻采集：實(shí)時(shí)采集跳繩視頻幀圖像；

S4、目標(biāo)檢測：根據(jù)視頻采集模塊實(shí)時(shí)采集到的視頻幀圖像，計(jì)算當(dāng)前視頻幀圖像與前一視頻幀圖像的幀差圖像，使用訓(xùn)練好的目標(biāo)檢測模型實(shí)時(shí)檢測跳繩視頻幀差圖像的人體目標(biāo)和人體姿態(tài)類別；

S5、跳繩計(jì)數(shù)：根據(jù)實(shí)時(shí)檢測到的人體姿態(tài)類別設(shè)置跳繩計(jì)數(shù)機(jī)制，進(jìn)行實(shí)時(shí)計(jì)數(shù)。

2.根據(jù)權(quán)利要求1所述的基于視頻圖像目標(biāo)檢測的實(shí)時(shí)跳繩計(jì)數(shù)方法，其特征在于，所述S1中，使用LabelImg軟件對(duì)數(shù)據(jù)集中的幀差圖像進(jìn)行數(shù)據(jù)標(biāo)注，根據(jù)雙腳是否處于離地狀態(tài)，將人體姿態(tài)分為落地狀態(tài)和離地狀態(tài)。

3.根據(jù)權(quán)利要求1所述的基于視頻圖像目標(biāo)檢測的實(shí)時(shí)跳繩計(jì)數(shù)方法，其特征在于，所述S2中，利用FCOS目標(biāo)檢測網(wǎng)絡(luò)對(duì)已經(jīng)標(biāo)注好的數(shù)據(jù)集對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練得到目標(biāo)檢測模型。

4.根據(jù)權(quán)利要求1所述的基于視頻圖像目標(biāo)檢測的實(shí)時(shí)跳繩計(jì)數(shù)方法，其特征在于，所述S3中，根據(jù)實(shí)驗(yàn)數(shù)據(jù)選擇攝像頭，并設(shè)置攝像機(jī)的內(nèi)置參數(shù)及攝像機(jī)到跳繩人員的距離，實(shí)時(shí)拍攝視頻幀圖像。

5.根據(jù)權(quán)利要求1所述的基于視頻圖像目標(biāo)檢測的實(shí)時(shí)跳繩計(jì)數(shù)方法，其特征在于，所述S5中，當(dāng)雙腳由落地狀態(tài)轉(zhuǎn)變?yōu)殡x地狀態(tài)再次轉(zhuǎn)變?yōu)槁涞貭顟B(tài)時(shí)，且中間的離地狀態(tài)連續(xù)幀數(shù)達(dá)到設(shè)定值，即對(duì)跳繩計(jì)數(shù)加一。

6.根據(jù)權(quán)利要求5所述的基于視頻圖像目標(biāo)檢測的實(shí)時(shí)跳繩計(jì)數(shù)方法，其特征在于，所述S5中，當(dāng)出現(xiàn)兩幀離地狀態(tài)幀中間為落地狀態(tài)幀且兩幀離地狀態(tài)幀前后均為連續(xù)的落地狀態(tài)幀時(shí)，將其中間的落地狀態(tài)幀標(biāo)記為誤檢的離地狀態(tài)幀，當(dāng)再檢測到連續(xù)的3幀落地狀態(tài)幀時(shí)，繩數(shù)計(jì)數(shù)加1。

7.一種基于視頻圖像目標(biāo)檢測的實(shí)時(shí)跳繩計(jì)數(shù)裝置，其特征在于，包括

跳繩數(shù)據(jù)集制作模塊，用于拍攝和搜集的符合要求的跳繩視頻，將跳繩視頻分解成視頻幀差圖像，在視頻幀差圖像上標(biāo)注檢測目標(biāo)和人體姿態(tài)類別，不同視頻中有效的幀差圖像組成用于訓(xùn)練目標(biāo)檢測網(wǎng)絡(luò)的數(shù)據(jù)集；

模型選取與訓(xùn)練模塊，用于選擇目標(biāo)檢測模型，并應(yīng)用制作好的跳繩數(shù)據(jù)集訓(xùn)練目標(biāo)檢測模型；

視頻采集模塊，用于實(shí)時(shí)采集跳繩視頻幀圖像；

目標(biāo)檢測模塊，根據(jù)視頻采集模塊實(shí)時(shí)采集到的視頻幀圖像，計(jì)算當(dāng)前視頻幀圖像與前一視頻幀圖像的幀差圖像，用于使用訓(xùn)練好的目標(biāo)檢測模型實(shí)時(shí)檢測跳繩視頻幀差圖像的人體目標(biāo)和人體姿態(tài)類別；

跳繩計(jì)數(shù)模塊，用于根據(jù)實(shí)時(shí)檢測到的人體姿態(tài)類別設(shè)置跳繩計(jì)數(shù)機(jī)制，進(jìn)行實(shí)時(shí)計(jì)數(shù)。

8.根據(jù)權(quán)利要求7所述的一種基于視頻圖像目標(biāo)檢測的實(shí)時(shí)跳繩計(jì)數(shù)裝置，其特征在于，還包括實(shí)時(shí)計(jì)數(shù)結(jié)果顯示模塊，所述實(shí)時(shí)計(jì)數(shù)結(jié)果顯示模塊用于實(shí)時(shí)性顯示當(dāng)前視頻幀圖像及從計(jì)數(shù)開始至當(dāng)前計(jì)數(shù)個(gè)數(shù)，以實(shí)時(shí)檢驗(yàn)跳繩計(jì)數(shù)效果。

9.一種計(jì)算機(jī)設(shè)備，其特征在于，包括電連接的存儲(chǔ)器和處理器，所述存儲(chǔ)器上存儲(chǔ)有可在處理器上運(yùn)行的計(jì)算程序，所述處理器執(zhí)行所述計(jì)算程序時(shí)，實(shí)現(xiàn)權(quán)利要求1-6中任意一項(xiàng)所述的方法的步驟。