[發明專利]一種基于深度學習的視頻圖像識別系統及方法

在審

• 申請號: 201910843125.3
• 申請日: 2019-09-06
• 公開（公告）號: CN110555417A
• 公開（公告）日: 2019-12-10
• 發明（設計）人: 李家志;常磊
• 申請（專利權）人: 福建中科亞創動漫科技股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 35209 泉州市誠得知識產權代理事務所(普通合伙)
• 代理人: 賴開慧

1.基于深度學習的視頻圖像識別方法，其特征在于，包括：

步驟1、采集視頻信息和第一圖片信息，將視頻信息分解成多幅連續單幀圖片，得到第二圖片信息；

步驟2、第一圖片信息和/或第二圖片信息輸入聚類模型進行聚類分類；確定每類姿態的聚類中心，并對每類姿態樣本劃分子集；

步驟3、根據劃分出的子集，以課程學習的訓練策略優化神經網絡模型；

步驟4、接收待識別圖片信息，利用優化后的神經網絡模型進行姿態識別。

2.根據權利要求1所述的基于深度學習的視頻圖像識別方法，其特征在于：所述步驟3中的具體包括以下步驟：

將每類姿態樣本劃分出的三個子集分別進行混合，得到三個總子集，每個總子集中均包含七種姿態，所述總子集包括簡單總子集、困難總子集、非常困難總子集；

由簡單總子集、困難總子集到非常困難總子集的順序對神經網絡模型進行優化訓練，得到優化訓練后的神經網絡模型。

3.根據權利要求2所述的基于深度學習的視頻圖像識別方法，其特征在于：所述步驟3中還包括以下步驟：

步驟3.1、利用優化訓練后的神經網絡模型學習網絡時序特征，并選定的網絡層；對該網絡層的網絡層參數進行評估和裁剪，提出恢復機制對剪枝后模型精度進行即刻恢復；

步驟3.2、對剪枝后的模型利用導師網絡進行加速重訓練；根據剪枝后重訓練的模型的表現力和復雜度，得到反饋激勵，用增強學習方法更新神經網絡模型；

步驟3.3、選取反饋激勵最高的5個模型作為新一輪神經網絡模型的輸入，重復步驟3.1和步驟3.2，直至神經網絡模型不再產生更優的剪枝決策時終止訓練過程，得到最優的剪枝后神經網絡模型。

4.根據權利要求3所述的基于深度學習的視頻圖像識別方法，其特征在于：所述步驟3中還包括以下步驟：

對剪枝后神經網絡模型進行參數微調；利用原始神經網絡模型作為蒸餾算法的老師網絡，將經過參數微調的剪枝后的模型作為蒸餾算法的學生網絡，根據蒸餾算法，通過老師網絡來指導學生網絡進行訓練；

將經過蒸餾算法訓練的學生網絡作為壓縮后的神經網絡模型。

5.根據權利要求1所述的基于深度學習的視頻圖像識別方法，其特征在于：所述步驟4中接收待識別圖片信息，利用優化后的神經網絡模型進行姿態識別的具體步驟為：

步驟4.1、神經網絡模型接收待識別圖片信息，利用對視頻幀中的人體關節點定位，得到關節點坐標，寫入坐標文本文件中；

步驟4.2、將離散的坐標用矩陣標識相鄰關節點之間的連接關系，四肢角度與方向信息由特征向量表示；利用支持向量機分類器進行分類識別。

6.根據權利要求5所述的基于深度學習的視頻圖像識別方法，其特征在于：所述步驟4.1中神經網絡模型接收待識別圖片信息，利用對視頻幀中的人體關節點定位，得到關節點坐標，寫入坐標文本文件中的具體步驟為：

步驟4.1.1、加載神經網絡模型，將收待識別圖片信息輸入神經網絡模型，得到各個人體所在的大致區域，輸出包圍人體矩形框的位置信息；

步驟4.1.2、從矩形框所框選范圍內，直接生成不同尺度的圖像；基于每個尺度，計算網絡預測的各個關節點的響應圖，得到不同尺度下各個關節點的響應圖；

步驟4.1.3、對于每個關節點，依次累加每個關節點對應的所有尺度的響應圖，得到總響應圖；

步驟4.1.4、在每個關節點的總響應圖上，找出分數最大的點，則該最大值所在位置即為預測的關節點位置，選取圖片左上角作為坐標原點；

步驟4.1.5、將關節點坐標依次寫入坐標文本文件中，生成關節點信息。

7.根據權利要求6所述的基于深度學習的視頻圖像識別方法，其特征在于：

所述的關節點具體順序依次為頭部，頸部，右肩，右肘，右腕，左肩，左肘，左腕，右臀，右膝，右腳踝，左臀，左膝，左腳踝。