[發明專利]基于卷積神經網絡的交互動作的識別方法和系統

在審

• 申請號: 201910914052.2
• 申請日: 2019-09-25
• 公開（公告）號: CN110717422A
• 公開（公告）日: 2020-01-21
• 發明（設計）人: 宋波
• 申請（專利權）人: 北京影譜科技股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 11694 北京萬思博知識產權代理有限公司
• 代理人: 高鎮

1.一種基于卷積神經網絡的交互動作的識別方法，該識別方法包括：

采集步驟：采集包含人的肢體動作的視頻流，將人的肢體動作進行標注并分類，獲得多個肢體動作圖片，將所述多個肢體動作圖片作為訓練數據集；

訓練步驟：將所述訓練數據集中的訓練樣本輸入DCNN深度卷積神經網絡中，提取所述訓練樣本的HOG特征向量，并利用SVM分類器對所述HOG特征向量進行分類，獲得訓練樣本的類別特征向量；

優化步驟：利用FNN模糊神經網絡計算所述訓練樣本的類別特征向量的最小化整體誤差函數，利用該最小化整體誤差函數對DCNN深度卷積神經網絡進行優化，得到交互動作的DCNN-FNN訓練模型；

識別步驟：采用所述交互動作的DCNN-FNN訓練模型識別待識別圖片的肢體動作的類別。

2.根據權利要求1所述的識別方法，其特征在于：在獲得訓練樣本的類別特征向量前確定該訓練樣本中的圖片的對比度：

計算訓練樣本中的圖片的累積直方圖以得到該圖片的實際累積頻率；

基于所述訓練樣本中的圖片的累積直方圖的線性回歸和實際累積頻率，計算該訓練樣本中的圖片的對比度。

3.根據權利要求1所述的識別方法，其特征在于：所述FNN模糊神經網絡包括輸入層、隱藏層和輸出層，該輸出層的特征向量值在[0-1]之間。

4.根據權利要求3所述的識別方法，其特征在于：其中，所述DCNN深度卷積神經網絡包括多個DCNN網絡層；

當輸出層輸出的特征向量值高于預設的閾值時，將該特征向量饋送到HOG-SVM分類單元中；

當所述輸出層輸出的特征向量值低于隱藏層所輸出的特征向量值的閾值時，或者HOG-SVM分類單元輸出的特征向量值為負值時，則對于下一層的DCNN重復進行所述優化步驟。

5.根據權利要求1所述的識別方法，其特征在于：利用FNN模糊神經網絡計算所述訓練樣本的類別特征向量的最小化整體誤差函數，其優化公式如下：

其中，e(y)是最小化整體誤差函數，w_e是訓練樣本中的圖片的像素坐標，m是DCNN的總層數，l是DCNN層數的序號；y_l是DCNN每層的類別特征向量數值；f_l(y_l)是訓練樣本中的圖片的各圖層所需的函數值；λ是預設的參數。

6.根據權利要求1-5任一項所述的識別方法，其特征在于：采用所述交互動作的DCNN-FNN訓練模型提取待識別圖片的肢體動作的HOG特征向量，計算該待識別圖片的肢體動作的HOG特征向量與所述交互動作的DCNN-FNN訓練模型中的所有HOG特征向量的歐氏距離，并把訓練樣本的類別作為距離最近的待識別圖片的肢體動作的類別。

7.一種基于卷積神經網絡的交互動作的識別系統，該識別系統包括：

采集模塊，用于采集包含人的肢體動作的視頻流，將人的肢體動作進行標注并分類，獲得多個肢體動作圖片，將所述多個肢體動作圖片作為訓練數據集；

訓練模塊，用于將所述訓練數據集中的訓練樣本輸入DCNN深度卷積神經網絡中，提取所述訓練樣本的HOG特征向量，并利用SVM分類器對所述HOG特征向量進行分類，獲得訓練樣本的類別特征向量；

優化模塊：利用FNN模糊神經網絡計算所述訓練樣本的類別特征向量的最小化整體誤差函數，利用該最小化整體誤差函數對DCNN深度卷積神經網絡進行優化，得到交互動作的DCNN-FNN訓練模型；

識別模塊：采用所述交互動作的DCNN-FNN訓練模型識別待識別圖片的肢體動作的類別。

8.根據權利要求7所述的識別系統，其特征在于，所述識別系統還包括確定模塊，用于在獲得訓練樣本的類別特征向量前確定該訓練樣本中的圖片的對比度；所述確定模塊執行以下操作：

計算訓練樣本中的圖片的累積直方圖以得到該圖片的實際累積頻率；

基于所述訓練樣本中的圖片的累積直方圖的線性回歸和實際累積頻率，計算該訓練樣本中的圖片的對比度。