[發明專利]一種乒乓球運動軌跡識別定位與跟蹤系統及方法

有效

• 申請號: 201611067418.X
• 申請日: 2016-11-28
• 公開（公告）號: CN106780620B
• 公開（公告）日: 2020-01-24
• 發明（設計）人: 王萍;茹鋒;崔夢丹;閆茂德;黃鶴
• 申請（專利權）人: 長安大學
• 主分類號: G06T7/80
• 分類號: G06T7/80;G06T7/285;G06T17/00
• 代理公司: 61200 西安通大專利代理有限責任公司
• 代理人: 陸萬壽

1.一種乒乓球軌跡識別定位與跟蹤方法，基于乒乓球軌跡識別定位與跟蹤系統，其特征在于，所述乒乓球軌跡識別定位與跟蹤系統包括：

實時圖像采集和傳輸模塊，包括兩臺高速高清攝像機，用于實時采集乒乓球運動時的圖像；

乒乓球目標識別定位和跟蹤模塊，用于對實時圖像采集和傳輸模塊采集的圖像進行目標識別和空間定位后形成數據，并對該數據進行濾波和跟蹤，得到乒乓球軌跡信息；

攝像機標定模塊，用于對攝像機的內外部參數進行標定；

運行軌跡三維重建模塊，用于接收乒乓球目標跟蹤模塊得到的乒乓球軌跡信息，并與攝像機標定模塊得到的攝像機內外部參數結合，進行模擬重現乒乓球三維運行軌跡；

所述乒乓球軌跡識別定位與跟蹤方法包括如下步驟：

Step1，通過兩臺高速高清攝像機實時采集乒乓球運動時的圖像；

Step2，對Step1采集的圖像進行目標識別和空間定位后形成數據，并對該數據進行濾波和跟蹤，得到乒乓球軌跡信息；

Step3，通過乒乓球目標跟蹤模塊得到的乒乓球軌跡信息，并結合攝像機內外部參數，進行模擬重現乒乓球三維運行軌跡；

所述Step2包括如下步驟：

Step21，獲取Step1采集得到的第一幀圖像；

Step22，檢測乒乓球目標在圖像上是否出現，當目標未出現時，檢測下一幀，直到檢測到目標出現；

Step23，選取乒乓球目標出現的目標模板，并根據融合運動信息的目標模板提取方法計算目標模板概率函數

Step24，初始化最優狀態估計、估計誤差協方差、縮放因子、觀測增益矩陣、傳遞矩陣、輸入控制矩陣和乒乓球目標的狀態向量；

Step25，預測乒乓球目標位置y_k；

Step26，根據融合運動信息的目標模板提取方法計算候選目標概率函數

Step27，計算Battacharyya系數ρ(y)，對ρ(y)在處泰勒展開，得新的目標位置y_k+1，并輸入下一幀，重復步驟Step25至Step27，確定所采集圖像每一幀中乒乓球的位置，得到乒乓球的二維圖像坐標；

所述Step23或Step26中，根據融合運動信息的目標模板提取方法計算第k幀時的目標模板概率函數和候選目標概率函數過程如下：

Step221，根據Mean-shift目標跟蹤算法計算目標模板概率函數q_u和候選目標概率函數p_u(y_k)：

其中，x_i^*是目標區域歸一化后的圖像像素點，并且i＝1,2,…,n為正整數，像素點的個數為n，

x_i為候選目標模板中第i樣本點，并且i＝1,2,…,n_h為正整數，且樣本點的個數為n_h，

k(x)為均方誤差最小的Epanechiov核函數，

δ(x)為狄拉克函數，

b(x)為x處的像素灰度值，

概率特征u＝1,2,…,m，u為正整數，且m為特征空間的個數，

δ[b(x_i)-u]用于判斷像素x_i是否屬于直方圖第u個特征區間，

yk為第k幀中目標中心坐標，k為視頻的幀數，

h為候選目標的尺度，

C為使的標準化的常量系數，且

C_h為使的標準化的常量系數，且

Step222，運用背景差分法獲取目標的運動區域，定義二值化差分值Binary(x_i)為：

Step223，建立背景加權模板，定義目標模板和所述候選目標模板的變換為：

其中，{F_u}_{u＝1,2,3…,l}是特征空間背景上的離散特征點，l為離散特征點的個數，

是最小的非零特征值，

w_i是對ρ(y)在處泰勒展開得到的權值；

Step224，建立目標加權模板，設定目標中心的權值為1，邊緣處的權值趨近于0，則中間任一點(X_i,Y_i)處的權值為：

其中，a,b分別為目標跟蹤過程中初始化窗口的一半，

(X₀,Y₀)為矩形框的中心，

(X_i,Y_i)為目標中間任意一點的坐標；

Step225，確定融合運動信息并進行背景加權和目標加權后的目標模板概率函數和所述候選目標概率函數

其中，x_i^*是目標區域歸一化后的圖像像素點，并且i＝1,2,…,n為正整數，像素點的個數為n，

x_i為候選目標模板中第i樣本點，并且i＝1,2,…,n_h為正整數，且樣本點的個數為n_h，

k(x)為均方誤差最小的Epanechiov核函數，

δ(x)為狄拉克函數，

b(x)為x處的像素灰度值，

概率特征u＝1,2,…,m，u為正整數，且m為特征空間的個數，

δ[b(x_i)-u]用于判斷像素x_i是否屬于直方圖第u個特征區間，

y_k為第k幀中目標中心坐標，k為視頻的幀數，

h為候選目標的尺度，

C^*為使的標準化的常量系數，且

為使的標準化常量系數，且所述Step24中，目標狀態向量用表示，且

其中，(x,y)為目標中心點在圖像中的像素坐標，

v_x是目標中心點在圖像坐標x軸上的運動速度，

v_y是目標中心點在圖像坐標y軸上的運動速度，

后一幀像素坐標減去前一幀像素坐標除以兩幀時間差可得到后一幀的目標運動速度，將目標模板中心所在位置作為初始化目標位置，目標中心點的運動速度初始化為0；

初始化最優狀態估計此狀態估計包括目標中心點在圖像中的像素坐標估計，以及中心點在x軸上和y軸上的運動速度估計，使

初始化估計誤差協方差p₀，使p₀為四階零矩陣，

初始化縮放因子為小于0.1的四階單位矩陣，

初始化觀測增益矩陣H，使

初始化傳遞矩陣F，使

其中，dt為兩幀間的時間差，

初始化輸入控制Bu_k-1，使α₁表示x方向上的加速度，α₂表示y方向上的加速度，在乒乓球的運動中我們認為其在x方向上做勻速運動，因此輸入控制

所述Step25中，預測乒乓球目標位置y_k時，在Kalman濾波算法的基礎上，圈定目標搜索區域，而進行的檢測算法，具體步驟為：

Step251，根據狀態估計方程由上一幀位置計算下一時刻狀態估計值

其中，F為傳遞矩陣，u_k-1為系統的控制量，B為聯系系統控制量的系數矩陣，這三項均在Step24中進行了初始化，

為k-1時刻的最優狀態估計矩陣，

為k時刻的狀態估計矩陣；

Step252，由方程計算下一時刻估計協方差

其中，P_k-1為k-1時刻的估計誤差協方差，

為k時刻的最優估計誤差協方差，

F^T為傳遞矩陣F的轉置矩陣，

Q為縮放因子；

Step253，根據下一時刻狀態估計值圈定目標檢測區域，在圈定區域檢索目標獲取目標觀測值z_k；

Step254，由方程計算增益因子K_k，再代入方程中修正最優估計，得所述下一時刻目標位置

其中，K_k為增益因子，

H為觀測增益矩陣，

H^T為觀測增益矩陣H的轉置矩陣，

R為縮放因子，

為k時刻的最優狀態估計矩陣，

Step255，由方程修正最優估計誤差協方差p_k，

其中，p_k為k時刻最優估計誤差協方差。