[發(fā)明專利]一種手勢識別方法、裝置及電子設(shè)備

有效

• 申請?zhí)枺?/td>: 201811323711.7
• 申請日: 2018-11-08
• 公開（公告）號: CN109492577B
• 公開（公告）日: 2020-09-18
• 發(fā)明（設(shè)計）人: 宇哲倫;馮巍;柳政
• 申請（專利權(quán)）人: 北京奇藝世紀科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 北京柏杉松知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11413
• 代理人: 丁蕓;項京

1.一種手勢識別方法，其特征在于，所述方法包括：

從待處理視頻中獲取待處理視頻幀，作為當前幀；

按預設(shè)識別算法，對當前幀進行手勢識別；

獲得從當前幀識別出的手勢，作為待定手勢；

對與當前幀相鄰的預設(shè)數(shù)量個相鄰視頻幀進行手勢識別；所述預設(shè)數(shù)量根據(jù)添加特效需要在視頻中的持續(xù)時長設(shè)置；

判斷所述預設(shè)數(shù)量個相鄰視頻幀中是否均識別出所述待定手勢；如果是，則待定手勢為識別出的有效手勢。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述從待處理視頻中獲取待處理視頻幀，作為當前幀的步驟，包括：

依據(jù)預設(shè)的抽幀間隔數(shù)量，在所述待處理視頻中，每間隔預設(shè)的抽幀間隔數(shù)量個視頻幀，抽取出一幀，作為待處理視頻幀；

判斷所述待處理視頻幀的鏡頭類型是否為遠景鏡頭；如果所述待處理視頻幀的鏡頭類型為非遠景鏡頭，則將所述待處理視頻幀作為當前幀；

如果所述待處理視頻幀的鏡頭類型為遠景鏡頭，則丟棄該待處理視頻幀。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述按預設(shè)識別算法，對當前幀進行手勢識別的步驟，包括：

將所述當前幀輸入手勢檢測模型，進行手勢檢測；所述的手勢檢測模型，為預先訓練好的卷積神經(jīng)網(wǎng)絡(luò)單次檢測器，為：預先使用包含手勢真實邊界框坐標的多個訓練樣本進行訓練，得到的單次檢測器SSD神經(jīng)網(wǎng)絡(luò)模型；

判斷所述手勢檢測模型是否在當前幀中檢測到手勢；如果是，則將檢測到的包含所述手勢的目標區(qū)域輸入手勢分類模型，進行手勢分類；所述手勢分類模型，為：預先使用包含手勢所屬的真實類別的多個訓練樣本進行訓練，得到的訓練好的卷積神經(jīng)網(wǎng)絡(luò)InceptionResnetV2模型；

如果否，則丟棄當前幀。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述手勢檢測模型，采用如下步驟訓練獲得：

獲取多個第一類訓練樣本；其中每個第一類訓練樣本包括樣本圖像及該樣本圖像中手勢的真實邊界框坐標；

將所述多個第一類訓練樣本輸入待訓練SSD神經(jīng)網(wǎng)絡(luò)模型；

所述待訓練SSD神經(jīng)網(wǎng)絡(luò)模型輸出所述樣本圖像中手勢的預測邊界框坐標；

使用該樣本圖像中手勢的真實邊界框坐標、輸出的手勢預測邊界框坐標，和預設(shè)第一損失函數(shù)計算第一損失值；

根據(jù)第一損失值判斷待訓練SSD神經(jīng)網(wǎng)絡(luò)模型是否收斂；如果收斂，則待訓練SSD神經(jīng)網(wǎng)絡(luò)模型為訓練完成的手勢檢測模型；

如果未收斂，則調(diào)整待訓練SSD神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)，返回所述將所述多個第一類訓練樣本輸入待訓練SSD神經(jīng)網(wǎng)絡(luò)模型的步驟。

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述手勢分類模型，采用如下步驟訓練獲得:

獲取多個第二類訓練樣本；其中每個第二類訓練樣本包括樣本圖像及該樣本圖像中手勢所屬的真實類別；

將所述多個第二類訓練樣本輸入待訓練卷積神經(jīng)網(wǎng)絡(luò)InceptionResnetV2模型；

使用待訓練卷積神經(jīng)網(wǎng)絡(luò)InceptionResnetV2模型計算出所述樣本圖像中手勢的預測類別；

使用手勢所屬的真實類別、計算出的預測類別，和預設(shè)第二損失函數(shù)計算第二損失值；

根據(jù)第二損失值判斷待訓練卷積神經(jīng)網(wǎng)絡(luò)InceptionResnetV2模型是否收斂；如果收斂，則待訓練卷積神經(jīng)網(wǎng)絡(luò)InceptionResnetV2模型為訓練完成的手勢分類模型；

如果未收斂，則調(diào)整待訓練卷積神經(jīng)網(wǎng)絡(luò)InceptionResnetV2模型的網(wǎng)絡(luò)參數(shù)，返回所述將所述多個第二類訓練樣本輸入待訓練卷積神經(jīng)網(wǎng)絡(luò)InceptionResnetV2模型的步驟。