[發(fā)明專利]一種基于視覺傳感器的移動(dòng)物體軌跡判斷方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201710991072.0
• 申請(qǐng)日: 2017-10-23
• 公開（公告）號(hào): CN107945206A
• 公開（公告）日: 2018-04-20
• 發(fā)明（設(shè)計(jì)）人: 夏仙強(qiáng)
• 申請(qǐng)（專利權(quán)）人: 夏仙強(qiáng)
• 主分類號(hào): G06T7/223
• 分類號(hào): G06T7/223;G06T7/50;G06T17/00
• 代理公司: 北京智沃律師事務(wù)所11620
• 代理人: 王繼勝

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于視覺傳感器的移動(dòng)物體軌跡判斷方法。

背景技術(shù)

臺(tái)球運(yùn)動(dòng)作為當(dāng)今新興的體育運(yùn)動(dòng)項(xiàng)目，如今在世界范圍內(nèi)已經(jīng)越來越受歡迎。從前臺(tái)球作為一種優(yōu)雅的紳士運(yùn)動(dòng)，但目前以體育競(jìng)技和生活?yuàn)蕵窞橹鳌ｋS著“臺(tái)球神童”丁俊暉在在世界斯諾克職業(yè)排名賽中擊敗了在世界上被譽(yù)為"臺(tái)球皇帝"的亨得利并獲得比賽的冠軍。斯諾克和臺(tái)球運(yùn)動(dòng)再次在國(guó)內(nèi)掀起熱潮。但受中國(guó)整體經(jīng)濟(jì)影響，球房的經(jīng)營(yíng)成本一直在增加，主要是房租和人工，包括教練等。球房的數(shù)量和規(guī)模是在增加，市場(chǎng)上競(jìng)爭(zhēng)也越來越激烈，消費(fèi)人群的體驗(yàn)要求也在提升。

原有的臺(tái)球只有人為的比賽判定及訓(xùn)練模式,無法通過基于機(jī)器視覺的網(wǎng)球智能機(jī)器人系統(tǒng)完成教練，裁判，助教等角色來滿足臺(tái)球比賽裁判執(zhí)法功能和臺(tái)球訓(xùn)練項(xiàng)目評(píng)價(jià)功能，相關(guān)用戶在比賽后和訓(xùn)練后查看比賽數(shù)據(jù)統(tǒng)計(jì)分析和訓(xùn)練水平分析評(píng)價(jià)并不方便，人力成本高。而目前不能實(shí)現(xiàn)機(jī)器自動(dòng)判定的主要原因，就是無法準(zhǔn)確判定物體的移動(dòng)軌跡。

發(fā)明內(nèi)容

有鑒于現(xiàn)有技術(shù)的上述缺陷，本發(fā)明所要解決的技術(shù)問題是提供一種更準(zhǔn)確的物體運(yùn)動(dòng)軌跡判斷方法。

為實(shí)現(xiàn)上述目的，本發(fā)明提供了一種基于視覺傳感器的移動(dòng)物體軌跡判斷方法，通過相機(jī)的圖像獲取的深度信息，確定其在視野范圍內(nèi)的z軸深度信息，根據(jù)相機(jī)圖像信息(x,y軸)及深度信息(z軸)進(jìn)行三維建模，以目標(biāo)平面的中心作為坐標(biāo)原點(diǎn)，長(zhǎng)度方向作為x軸，寬度方向作為y軸，垂直于平面的方向作為z軸；

將不同移動(dòng)物體的訓(xùn)練模型加載到檢測(cè)算法函數(shù)中，通過卷積神經(jīng)網(wǎng)絡(luò)的算法，對(duì)圖像信息進(jìn)行卷積計(jì)算，比對(duì)全連接層的匹配程度，當(dāng)匹配度高于閾值k時(shí)，則認(rèn)為此處位置的移動(dòng)物體與訓(xùn)練模型中的移動(dòng)物體匹配，從而識(shí)別到不同移動(dòng)物體在圖像中的位置信息和其標(biāo)簽號(hào)碼；

通過內(nèi)置的算法換算，將不同移動(dòng)物體在圖像坐標(biāo)系下的位置信息換算為

其中pixel為坐標(biāo)點(diǎn)的像素值，f為焦距，dis為深度相機(jī)所測(cè)得的距離值，phy為空間坐標(biāo)系下的位置值；實(shí)際空間坐標(biāo)系下的位置信息(x_phy，y_phy，z_phy)，結(jié)合空間三維坐標(biāo)系將場(chǎng)地分為x,y,z三維軸，即原點(diǎn)(0,0,0)及三軸(w,h,k)的坐標(biāo)長(zhǎng)度范圍，求出移動(dòng)物體在次坐標(biāo)系下的實(shí)際位置信息；

通過時(shí)間段的積累，坐標(biāo)數(shù)據(jù)(x_phy，y_phy，z_phy)在t(0)—t(n)時(shí)刻可形成累積，進(jìn)而根據(jù)這些坐標(biāo)數(shù)據(jù)運(yùn)行擬合函數(shù)擬合出此移動(dòng)物體在t(0)—t(n)時(shí)間段內(nèi)的軌跡。

本發(fā)明的有益效果是：本發(fā)明能夠?qū)崿F(xiàn)物體運(yùn)動(dòng)軌跡的檢測(cè)，具有使用方便，應(yīng)用范圍廣的優(yōu)點(diǎn)。

附圖說明

圖1是本發(fā)明一具體實(shí)施方式的原理示意圖。

具體實(shí)施方式

下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作進(jìn)一步說明：

如圖1所示，本發(fā)明所述的移動(dòng)物體運(yùn)動(dòng)軌跡擬合方法應(yīng)用在一種基于視覺傳感器的臺(tái)球智能機(jī)器人系統(tǒng)上，包括客戶端、服務(wù)器、云存儲(chǔ)器、機(jī)器人系統(tǒng)和人機(jī)交互系統(tǒng)；

所述客戶端發(fā)送指令給所述服務(wù)器，所述服務(wù)器發(fā)送指令給所述機(jī)器人系統(tǒng)，所述機(jī)器人系統(tǒng)實(shí)時(shí)上傳視頻至云存儲(chǔ)器，所述云存儲(chǔ)器與客戶端進(jìn)行數(shù)據(jù)交互；所述機(jī)器人系統(tǒng)與所述人機(jī)交互系統(tǒng)連接以進(jìn)行數(shù)據(jù)交互；

所述服務(wù)器系統(tǒng)：用于信息調(diào)度，安排客戶端之間的信息交互，如進(jìn)行人員匹配，場(chǎng)地選擇，發(fā)起游戲比賽，在線發(fā)起挑戰(zhàn)等功能，并安排用戶進(jìn)行線下實(shí)地的運(yùn)動(dòng)，包含但不限于賽，訓(xùn)練，教練，助教等。

所述機(jī)器人系統(tǒng)：采集不同球在不同位置和轉(zhuǎn)動(dòng)角度的情況下圖片信息，在圖片中提取球的位置信息，并打上相應(yīng)球的標(biāo)簽，即(x,y,with,height)和label,然后輸入深度學(xué)習(xí)的算法框架進(jìn)行訓(xùn)練，得出不同球的訓(xùn)練模型ball.model(訓(xùn)練模型為數(shù)據(jù)集合的一些格式),其中包括不同球的訓(xùn)練數(shù)據(jù)的標(biāo)簽和號(hào)碼標(biāo)注，如yellow1，red2等。

所述機(jī)器人系統(tǒng)通過相機(jī)的圖像獲取的深度信息，確定其在視野范圍內(nèi)的z軸深度信息，根據(jù)相機(jī)圖像信息(x,y軸)及深度信息(z軸)對(duì)球桌面進(jìn)行三位重建,即標(biāo)定原點(diǎn)信息(0,0,0)和x,y,z軸的測(cè)量范圍和正方向。

所述機(jī)器人系統(tǒng)將不同球的訓(xùn)練模型加載到檢測(cè)算法函數(shù)fuction_ball中，通過卷積神經(jīng)網(wǎng)絡(luò)的算法，對(duì)圖像信息進(jìn)行卷積計(jì)算，比對(duì)全連接層的匹配程度，當(dāng)匹配度高于閾值k時(shí)，則認(rèn)為此處位置的球與訓(xùn)練模型中的球匹配，從而識(shí)別到不同球在圖像中的位置信息localtion(x,y,z)和其標(biāo)簽號(hào)碼label