[發明專利]一種基于深度學習的戰術動作評估方法

有效

• 申請號: 201910409896.1
• 申請日: 2019-05-16
• 公開（公告）號: CN110135352B
• 公開（公告）日: 2023-05-12
• 發明（設計）人: 路露;曹玉君;郭新宇;舒峻峰;方小永
• 申請（專利權）人: 南京礪劍光電技術研究院有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/40;G06V10/77;G06V10/774;G06V10/82;G06V10/764;G06N3/0464;G06N3/0442;G06N3/08
• 代理公司: 南京君陶專利商標代理有限公司 32215
• 代理人: 沈根水

1.一種基于深度學習的戰術動作評估方法，其特征是包括以下步驟：

(1)構建戰術動作視頻數據庫；

(2)計算光流場；

(3)生成運動矢量流圖像；

光流場是二維網格上的運動矢量的量化表示，對于視頻中的每個幀，都獲得相應的光流場；為了將運動的速度信息編碼到圖像中，對于每個采樣時刻t，根據光流場將速度矢量v(v_x，v_y)編碼為矩形，其中矩形的寬度和高度表示速度的方向，而像素顏色或灰度值表示速度的大小，運動矢量流圖像的生成步驟如下：

1)對輸入視頻進行幀遍歷，對每一幀圖像進行光流計算；

2)根據計算得到的速度，在像素點處生成速度矩形，矩形的邊為速度矢量分解，矩形的灰度或顏色表示速度的幅值，得到運動矢量圖；

3)為便于后期處理，將運動矢量圖按照速度排序；

(4)進行PCA降維處理；

(5)對上一步的計算結果進行LDA變換；

(6)訓練神經網絡；

使用步驟(5)變換后的數據集，對卷積神經網絡進行訓練，CNN的結構可根據需要靈活設計，一種典型結構包括卷積層、池化層、卷積層、池化層和全連接層；

(7)應用神經網絡進行動作分類；

(8)PCA-LDA空間投影；

(9)分數評估。

2.根據權利要求1所述的一種基于深度學習的戰術動作評估方法，其特征是所述步驟(1)構建戰術動作視頻數據庫：使用統一顏色背景，由若干專業人員實施各類單兵戰術動作，使用相機錄制視頻，錄制采樣率為25幀/秒，使用相同的焦距記錄所有動作；視頻以AVIMPEG編碼格式保存，并裁剪為600×400分辨率；每類動作按照分數高低劃分為優秀組，良好組，中等組，低分組，每類視頻中必須包含這些組別，錄制多個視頻序列，形成戰術動作視頻數據庫。

3.根據權利要求1所述的一種基于深度學習的戰術動作評估方法，其特征是所述步驟(2)計算光流場：基于LK金字塔光流法，計算每一采樣時刻t的光流場。

4.根據權利要求1所述的一種基于深度學習的戰術動作評估方法，其特征是所述步驟(4)進行PCA降維處理：將步驟(3)中得到的視頻中的每一幀圖像，向整個視頻的PCA特征空間投影，進行降維處理；處理后，每一幀圖像相當于PCA特征空間中的一點，整個動作是一條曲線，視頻中所有圖像定義為：其中w_i,j是一幀圖像的像素矩陣，N_i表示第i類動作視頻包含的幀數；對X進行主成分分析，得到k維PCA特征空間，其中k遠遠小于X的維數；設X協方差矩陣前k個特征值對應的特征向量構成矩陣E，將視頻中的所有幀向PCA特征空間投影，得到每幀對應的點向量y_i,j＝E?x_i,j。

5.根據權利要求4所述的一種基于深度學習的戰術動作評估方法，其特征是所述步驟(5)LDA變換：為了便于區分動作的類型，需要使PCA空間中同類動作協方差更小，不同類動作協方差變大，所以對y_i,j進行LDA變換，可調用OpenCV中的LDA類實現LDA變換，使得輸入的視頻成為低維、便于分類的標記數據集。

6.根據權利要求1所述的一種基于深度學習的戰術動作評估方法，其特征是所述步驟(7)應用神經網絡進行動作分類：將測試視頻按照步驟(2)-(5)進行處理，處理后的視頻輸入步驟(6)中訓練好的神經網絡，得到視頻的戰術動作分類。

7.根據權利要求1所述的一種基于深度學習的戰術動作評估方法，其特征是所述步驟(8)PCA-LDA空間投影：根據測試視頻的戰術動作分類，將測試視頻的光流向訓練數據集中相應動作的PCA-LDA空間投影。

8.根據權利要求1所述的一種基于深度學習的戰術動作評估方法，其特征是所述步驟(9)分數評估：采用線性評估模型評估分數，線性模型的參數使用最小二乘法進行校準，具體包括以下步驟：

1)使用KNN算法計算待測動作屬于優秀組、良好組、中等組和低分組的概率，設概率分別為P_s，P_g，P_m，P_i，每組分數的中位數分別為則戰術動作初步評分為；

2)對初步評分w進行校正，最后得分為其中校正參數k和b可通過最小二乘優化得到，針對測試動作所屬動作類的有標簽視頻，通過優化目標函數得到校正參數；min{∑_i|d_i-(kw_i+b)|²}其中i是本類動作標記視頻的序號，d_i第i個標記視頻動作評分，w_i是使用方法1)計算的標記視頻初步評分，完成對一個動作視頻的評估。