[發(fā)明專(zhuān)利]基于雙目視覺(jué)和深度學(xué)習(xí)的出水高度檢測(cè)系統(tǒng)及其方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011046022.3
• 申請(qǐng)日: 2020-09-28
• 公開(kāi)（公告）號(hào): CN112183355B
• 公開(kāi)（公告）日: 2022-12-27
• 發(fā)明（設(shè)計(jì)）人: 宋春雷;任旭倩;丁子豪;李曼
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京理工大學(xué)
• 主分類(lèi)號(hào): G06V40/20
• 分類(lèi)號(hào): G06V40/20;G06V20/40;G06V10/30;G06V10/82;G06N3/04
• 代理公司: 北京太兆天元知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11108
• 代理人: 王宇

本發(fā)明公開(kāi)了一種基于雙目視覺(jué)和深度學(xué)習(xí)的出水高度檢測(cè)系統(tǒng)及其方法，視頻采集模塊用于采集游泳運(yùn)動(dòng)員的比賽視頻，視頻處理模塊用于去除比賽視頻中的殘影，目標(biāo)識(shí)別和跟蹤模塊用于進(jìn)行目標(biāo)識(shí)別和目標(biāo)跟蹤，選擇目標(biāo)的中心點(diǎn)運(yùn)動(dòng)軌跡作為目標(biāo)運(yùn)動(dòng)軌跡，三維坐標(biāo)恢復(fù)模塊用于計(jì)算每個(gè)軌跡點(diǎn)對(duì)應(yīng)的深度值，根據(jù)深度值形成游泳運(yùn)動(dòng)員的三維軌跡，軌跡判斷模塊用于對(duì)所有采集的軌跡進(jìn)行擬合，當(dāng)軌跡為拋物線時(shí)認(rèn)定為出水運(yùn)動(dòng)員軌跡，高度計(jì)算模塊用于計(jì)算拋物線的最高點(diǎn)與最低點(diǎn)的距離作為游泳運(yùn)動(dòng)員的出水高度。本發(fā)明提供的出水高度檢測(cè)系統(tǒng)，能夠檢測(cè)游泳運(yùn)動(dòng)員拋出水面的精確高度，為裁判評(píng)定動(dòng)作標(biāo)準(zhǔn)提供客觀依據(jù)。

技術(shù)領(lǐng)域

本發(fā)明涉及高度檢測(cè)技術(shù)領(lǐng)域，尤其涉及一種基于雙目視覺(jué)和深度學(xué)習(xí)的出水高度檢測(cè)系統(tǒng)及其方法。

背景技術(shù)

花樣游泳運(yùn)動(dòng)是一種融入舞蹈和音樂(lè)的水上競(jìng)技項(xiàng)目，運(yùn)動(dòng)員需要完成許多組托舉、旋轉(zhuǎn)、彎曲等動(dòng)作，其中運(yùn)動(dòng)員跳出水面的高度是一項(xiàng)很重要的評(píng)分標(biāo)準(zhǔn)。目前跳出水面的高度目前只能由裁判目測(cè)，具有較大的主觀性，這種方法存在以下缺陷：(1)高度測(cè)量不準(zhǔn)，容易產(chǎn)生爭(zhēng)議，影響比賽的正常進(jìn)行；(2)運(yùn)動(dòng)員出水是瞬時(shí)動(dòng)作，給裁判增加了識(shí)別負(fù)擔(dān)。

發(fā)明內(nèi)容

為解決現(xiàn)有技術(shù)存在的局限和缺陷，本發(fā)明提供一種基于雙目視覺(jué)和深度學(xué)習(xí)的出水高度檢測(cè)系統(tǒng)，包括視頻采集模塊、視頻處理模塊、目標(biāo)識(shí)別和跟蹤模塊、三維坐標(biāo)恢復(fù)模塊、軌跡判斷模塊、高度計(jì)算模塊；

所述視頻采集模塊用于采集所述游泳運(yùn)動(dòng)員的比賽視頻，將采集到的比賽視頻傳遞給所述視頻處理模塊；

所述視頻處理模塊用于根據(jù)視頻去模糊算法處理具有高速運(yùn)動(dòng)物體的視頻，以消除所述比賽視頻中的模糊殘影，將處理后的比賽視頻傳遞給所述目標(biāo)識(shí)別和跟蹤模塊；

所述目標(biāo)識(shí)別和跟蹤模塊用于識(shí)別拋出水面的游泳運(yùn)動(dòng)員，并進(jìn)行目標(biāo)跟蹤，使用矩形框框出目標(biāo)，獲得所述目標(biāo)的中心點(diǎn)，同時(shí)提取所述目標(biāo)的中心點(diǎn)列表發(fā)送給所述三維坐標(biāo)恢復(fù)模塊；

所述三維坐標(biāo)恢復(fù)模塊用于根據(jù)左右目照片計(jì)算出視差圖，再根據(jù)相機(jī)焦距和基線計(jì)算出深度圖，根據(jù)所述視差圖和所述深度圖恢復(fù)出軌跡點(diǎn)相對(duì)于相機(jī)參考坐標(biāo)系的三維坐標(biāo)，形成三維軌跡列表發(fā)送給所述軌跡判斷模塊；

所述軌跡判斷模塊用于對(duì)獲得的軌跡進(jìn)行擬合，當(dāng)判斷軌跡為拋物線時(shí)認(rèn)定對(duì)應(yīng)目標(biāo)做出水動(dòng)作，將做出水運(yùn)動(dòng)的目標(biāo)軌跡發(fā)送給所述高度計(jì)算模塊；

所述高度計(jì)算模塊用于根據(jù)獲得的拋物線計(jì)算出所述拋物線的最高點(diǎn)與最低點(diǎn)之間的垂直距離，所述垂直距離為游泳運(yùn)動(dòng)員的出水高度。

可選的，所述視頻采集模塊包括ZED雙目攝像機(jī)，所述ZED雙目攝像機(jī)通過(guò)支架放置于地面，以防止抖動(dòng)；

所述ZED雙目攝像機(jī)設(shè)置在所述游泳運(yùn)動(dòng)員側(cè)面的泳池邊緣，以保證所述ZED雙目攝像機(jī)拍攝到所述游泳運(yùn)動(dòng)員表演的全部過(guò)程。

本發(fā)明還提供一種基于雙目視覺(jué)和深度學(xué)習(xí)的出水高度檢測(cè)方法，所述檢測(cè)方法使用上述的檢測(cè)系統(tǒng)，所述檢測(cè)方法包括：

步驟S1：所述視頻采集模塊采集所述游泳運(yùn)動(dòng)員的比賽視頻，將采集到的比賽視頻傳遞給所述視頻處理模塊；

步驟S2：所述視頻處理模塊根據(jù)視頻去模糊算法處理具有高速運(yùn)動(dòng)物體的視頻，以消除所述比賽視頻中的模糊殘影，將處理后的比賽視頻傳遞給所述目標(biāo)識(shí)別和跟蹤模塊；

步驟S3：所述目標(biāo)識(shí)別和跟蹤模塊識(shí)別拋出水面的游泳運(yùn)動(dòng)員，并進(jìn)行目標(biāo)跟蹤，使用矩形框框出目標(biāo)，獲得所述目標(biāo)的中心點(diǎn)，同時(shí)提取所述目標(biāo)的中心點(diǎn)列表發(fā)送給所述三維坐標(biāo)恢復(fù)模塊；

步驟S4：所述三維坐標(biāo)恢復(fù)模塊根據(jù)左右目照片計(jì)算出視差圖，再根據(jù)相機(jī)焦距和基線計(jì)算出深度圖，根據(jù)所述視差圖和所述深度圖恢復(fù)出軌跡點(diǎn)相對(duì)于相機(jī)參考坐標(biāo)系的三維坐標(biāo)，形成三維軌跡列表發(fā)送給所述軌跡判斷模塊；