[發(fā)明專利]基于雙目視覺(jué)和深度學(xué)習(xí)的出水高度檢測(cè)系統(tǒng)及其方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011046022.3
• 申請(qǐng)日: 2020-09-28
• 公開(kāi)（公告）號(hào): CN112183355B
• 公開(kāi)（公告）日: 2022-12-27
• 發(fā)明（設(shè)計(jì)）人: 宋春雷;任旭倩;丁子豪;李曼
• 申請(qǐng)（專利權(quán)）人: 北京理工大學(xué)
• 主分類號(hào): G06V40/20
• 分類號(hào): G06V40/20;G06V20/40;G06V10/30;G06V10/82;G06N3/04
• 代理公司: 北京太兆天元知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11108
• 代理人: 王宇

1.一種基于雙目視覺(jué)和深度學(xué)習(xí)的出水高度檢測(cè)方法，其特征在于，所述檢測(cè)方法使用基于雙目視覺(jué)和深度學(xué)習(xí)的出水高度檢測(cè)系統(tǒng)，所述檢測(cè)系統(tǒng)包括視頻采集模塊、視頻處理模塊、目標(biāo)識(shí)別和跟蹤模塊、三維坐標(biāo)恢復(fù)模塊、軌跡判斷模塊、高度計(jì)算模塊；

所述視頻采集模塊用于采集游泳運(yùn)動(dòng)員的比賽視頻，將采集到的比賽視頻傳遞給所述視頻處理模塊；

所述視頻處理模塊用于根據(jù)視頻去模糊算法處理具有高速運(yùn)動(dòng)物體的視頻，以消除所述比賽視頻中的模糊殘影，將處理后的比賽視頻傳遞給所述目標(biāo)識(shí)別和跟蹤模塊；

所述目標(biāo)識(shí)別和跟蹤模塊用于識(shí)別拋出水面的游泳運(yùn)動(dòng)員，并進(jìn)行目標(biāo)跟蹤，使用矩形框框出目標(biāo)，獲得所述目標(biāo)的中心點(diǎn)，同時(shí)提取所述目標(biāo)的中心點(diǎn)列表發(fā)送給所述三維坐標(biāo)恢復(fù)模塊；

所述三維坐標(biāo)恢復(fù)模塊用于根據(jù)左右目照片計(jì)算出視差圖，再根據(jù)相機(jī)焦距和基線計(jì)算出深度圖，根據(jù)所述視差圖和所述深度圖恢復(fù)出軌跡點(diǎn)相對(duì)于相機(jī)參考坐標(biāo)系的三維坐標(biāo)，形成三維軌跡列表發(fā)送給所述軌跡判斷模塊；

所述軌跡判斷模塊用于對(duì)獲得的軌跡進(jìn)行擬合，當(dāng)判斷軌跡為拋物線時(shí)認(rèn)定對(duì)應(yīng)目標(biāo)做出水動(dòng)作，將做出水運(yùn)動(dòng)的目標(biāo)軌跡發(fā)送給所述高度計(jì)算模塊；

所述高度計(jì)算模塊用于根據(jù)獲得的拋物線計(jì)算出所述拋物線的最高點(diǎn)與最低點(diǎn)之間的垂直距離，所述垂直距離為游泳運(yùn)動(dòng)員的出水高度；

所述檢測(cè)方法包括：

步驟S1：所述視頻采集模塊采集所述游泳運(yùn)動(dòng)員的比賽視頻，將采集到的比賽視頻傳遞給所述視頻處理模塊；

步驟S2：所述視頻處理模塊根據(jù)視頻去模糊算法處理具有高速運(yùn)動(dòng)物體的視頻，以消除所述比賽視頻中的模糊殘影，將處理后的比賽視頻傳遞給所述目標(biāo)識(shí)別和跟蹤模塊；

步驟S3：所述目標(biāo)識(shí)別和跟蹤模塊識(shí)別拋出水面的游泳運(yùn)動(dòng)員，并進(jìn)行目標(biāo)跟蹤，使用矩形框框出目標(biāo)，獲得所述目標(biāo)的中心點(diǎn)，同時(shí)提取所述目標(biāo)的中心點(diǎn)列表發(fā)送給所述三維坐標(biāo)恢復(fù)模塊；

步驟S4：所述三維坐標(biāo)恢復(fù)模塊根據(jù)左右目照片計(jì)算出視差圖，再根據(jù)相機(jī)焦距和基線計(jì)算出深度圖，根據(jù)所述視差圖和所述深度圖恢復(fù)出軌跡點(diǎn)相對(duì)于相機(jī)參考坐標(biāo)系的三維坐標(biāo)，形成三維軌跡列表發(fā)送給所述軌跡判斷模塊；

步驟S5：所述軌跡判斷模塊對(duì)獲得的軌跡進(jìn)行擬合，當(dāng)判斷軌跡為拋物線時(shí)認(rèn)定對(duì)應(yīng)目標(biāo)做出水動(dòng)作，將做出水運(yùn)動(dòng)的目標(biāo)軌跡發(fā)送給所述高度計(jì)算模塊；

步驟S6：所述高度計(jì)算模塊根據(jù)獲得的拋物線計(jì)算出所述拋物線的最高點(diǎn)與最低點(diǎn)之間的垂直距離，所述垂直距離為游泳運(yùn)動(dòng)員的出水高度；

所述步驟S5包括：

步驟S51：根據(jù)所述三維坐標(biāo)構(gòu)建運(yùn)動(dòng)軌跡數(shù)據(jù)點(diǎn)集；

步驟S52：根據(jù)采集到的數(shù)據(jù)點(diǎn)使用最小二乘法擬合三維拋物線曲面的未知參數(shù)(a_x,b_x,c_x,a_y,b_y,c_y)，所述三維拋物線曲面的計(jì)算公式如下：

步驟S53：使用所述數(shù)據(jù)點(diǎn)描述深度與高度的二維坐標(biāo)，使用最小二乘法擬合物體運(yùn)動(dòng)在三維空間中的平面位置，計(jì)算公式如下：

步驟S54：根據(jù)運(yùn)動(dòng)平面與曲面的交線確定游泳運(yùn)動(dòng)員的運(yùn)動(dòng)軌跡線，計(jì)算公式如下：

步驟S55：判斷數(shù)據(jù)點(diǎn)軌跡是否屬于拋物線軌跡，計(jì)算擬合得到的拋物線與原數(shù)據(jù)點(diǎn)之間的偏差，計(jì)算公式如下：

步驟S56：當(dāng)擬合出的曲線的偏差均值為預(yù)先設(shè)定的誤差閾值τ時(shí)，認(rèn)定該組數(shù)據(jù)點(diǎn)為拋物線軌跡；

步驟S57：根據(jù)擬合出的拋物線計(jì)算軌跡的最高點(diǎn)坐標(biāo)，將所述最高點(diǎn)坐標(biāo)作為該運(yùn)動(dòng)軌跡最高點(diǎn)的坐標(biāo)。

2.根據(jù)權(quán)利要求1所述的基于雙目視覺(jué)和深度學(xué)習(xí)的出水高度檢測(cè)方法，其特征在于，所述視頻采集模塊包括ZED雙目攝像機(jī)，所述ZED雙目攝像機(jī)通過(guò)支架放置于地面，以防止抖動(dòng)；

所述ZED雙目攝像機(jī)設(shè)置在所述游泳運(yùn)動(dòng)員側(cè)面的泳池邊緣，以保證所述ZED雙目攝像機(jī)拍攝到所述游泳運(yùn)動(dòng)員表演的全部過(guò)程。