[發明專利]一種手語識別方法

有效

• 申請號: 201910426216.7
• 申請日: 2019-05-21
• 公開（公告）號: CN110175551B
• 公開（公告）日: 2023-01-10
• 發明（設計）人: 張淑軍;張群;李輝;王傳旭
• 申請（專利權）人: 青島科技大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V40/10;G06V10/764
• 代理公司: 青島聯智專利商標事務所有限公司 37101
• 代理人: 邵新華

1.一種手語識別方法，其特征在于，包括：

對手語視頻進行切幀；

將手語視頻所對應的圖像幀按照時序等分成n個片段；

從每一個片段中隨機選取連續的m個圖像幀，形成視頻序列X＝(x₁,x₂,···,x_n)；其中，x_i表示第i個片段中的m個圖像幀；

對所述視頻序列X進行基于頻域變換的圖像處理，提取出相位信息；

將所述相位信息和視頻序列X分別送入C3D卷積神經網絡進行一次卷積，并對卷積后得到的特征進行加權融合，形成融合后的特征信息；

將所述融合后的特征信息送入3D ResNets深度卷積神經網絡進行二次卷積和池化；

根據二次卷積之后生成的特征矩陣F_n，求取F_n的互協方差矩陣Q_n；

對互協方差矩陣Q_n進行池化降維，形成降維后的特征向量；

將t幀時刻降維后的特征向量表示為計算t+1幀時刻降維后的特征向量的重要性β_t+1：

其中，f_p為感知機算法中的預測函數；φ(x_t+1)表示在所述視頻序列X下，截止到t+1幀為止的降維后的特征向量；

計算t+1幀時刻的特征向量的權重ω，所述權重ω滿足以下計算公式：

計算每一幀時刻的特征向量的權重，選取權重最大的特征向量作為目標特征向量；

將所述目標特征向量送入3D ResNets深度卷積神經網絡的全連接層，輸出分類結果。

2.根據權利要求1所述的手語識別方法，其特征在于，在形成所述視頻序列X的過程中，具體包括：

將每一個手語視頻切為N幀，N≥34，并將前f幀和后f幀作為冗余幀進行剔除，保留中間的關鍵幀，所述f≤5；

將所述中間的關鍵幀按照時序等分成三個片段；

從每一個片段中隨機選取連續的至少8個圖像幀，形成所述的視頻序列X。

3.根據權利要求1所述的手語識別方法，其特征在于，在基于頻域變換提取相位信息的過程中，采用Gabor變換提取圖像幀的相位信息。

4.根據權利要求1至3中任一項所述的手語識別方法，其特征在于，在所述3D ResNets深度卷積神經網絡中，其3D卷積層使用不同尺度的卷積核對不同時序位置的時序信息進行二次卷積，然后對每一個時序位置的卷積特征進行時間維度上的特征聚合，形成二次卷積之后的特征矩陣，送入池化層，進而利用自適應學習池化算法進行降維，以篩選出目標特征向量。

5.根據權利要求4所述的手語識別方法，其特征在于，所述3D ResNets深度卷積神經網絡包括8個3D卷積層和8個池化層，所述8個3D卷積層和8個池化層相互交錯；其中，

每一個3D卷積層的卷積核均為3×3×3，卷積核的數量由64到512依次遞增，在卷積層之后，對兩路信息進行卷積層的特征融合；

每一個池化層均使用所述自適應學習池化算法進行降維，其中第二個池化層、第六個池化層、第七個池化層以及第八個池化層均使用2×2×2的窗口同時對時間維度和空間維度進行下采樣，其他池化層使用1×2×2的窗口，只在空間維度上進行下采樣。

6.根據權利要求5所述的手語識別方法，其特征在于，在每一個3D卷積層之后分別加入BN層。