[發明專利]變電站虛擬環境中的精準手勢識別方法

在審

• 申請號: 201910361421.X
• 申請日: 2019-04-30
• 公開（公告）號: CN110231864A
• 公開（公告）日: 2019-09-13
• 發明（設計）人: 蘇慧民;褚國偉;劉澤;戴黎明
• 申請（專利權）人: 國網江蘇省電力有限公司常州供電分公司;國網江蘇省電力有限公司;國家電網有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00;G06K9/62
• 代理公司: 常州市江海陽光知識產權代理有限公司 32214
• 代理人: 張兢

1.一種變電站虛擬環境中的精準手勢識別方法，其特征在于，該方法包括以下步驟：

步驟1：預定義包括變電站虛擬仿真中需要識別的手勢在內的手勢集合；

步驟2：分別采集各手勢對應的視頻信號和肌電信號；

步驟3：對采集到的視頻信號和肌電信號分別進行信號處理，得到視頻信號的特征和肌電信號的特征；

步驟4：基于視頻信號的特征和肌電信號的特征，將對應的手勢與預定義的手勢進行分類和匹配；

步驟5：融合兩組信號的匹配結果，得到手勢識別結果。

2.根據權利要求1所述的變電站虛擬環境中的精準手勢識別方法，其特征在于，步驟1所述的預定義手勢集合為：

定義手勢集合Set，包括虛擬現實頭盔HTC VIVE內置手勢Set₂和需要增加的手勢集合Set₁；需要增加的手勢集合Set₁中的手勢包括：握拳、向左揮動手掌和向右揮動手掌。

3.根據權利要求1所述的變電站虛擬環境中的精準手勢識別方法，其特征在于，所述步驟2包括以下具體步驟：

步驟2.1：實驗者做出手勢集合Set__D_；

步驟2.2：通過虛擬現實頭盔采集各手勢對應的視頻信號；

步驟2.3：通過肌電信號采集裝置采集各手勢對應的肌電信號。

4.根據權利要求1所述的變電站虛擬環境中的精準手勢識別方法，其特征在于，所述步驟3包括以下具體步驟：

步驟3.1：對采集到的視頻信號進行手勢分割、特征提取，獲得手勢運動軌跡，作為視頻信號的特征；

步驟3.2：對采集到的肌電信號進行手勢分割、特征提取，獲得到肌電信號活動段中肌電信號的絕對值均值，作為肌電信號的特征。

5.根據權利要求4所述的變電站虛擬環境中的精準手勢識別方法，其特征在于，所述步驟3.1包括以下具體步驟：

步驟3.1.1：對于視頻數據中包含手勢運動的幀序列，逐幀使用膚色作為特征分割出手部區域；

步驟3.1.2：根據分割得到的手勢區域序列，獲得初始的手部區域中心位置；

步驟3.1.3：采用卡爾曼濾波算法進行手勢跟蹤，獲得手勢運動軌跡，作為視頻信號的特征。

6.根據權利要求4所述的變電站虛擬環境中的精準手勢識別方法，其特征在于，所述步驟3.2包括以下具體步驟：

步驟3.2.1：通過肌電信號強度，檢測手勢動作的起始點和終止點；

步驟3.2.2：根據手勢動作的起始點和終止點，分割肌電信號活動段；

步驟3.2.3：將肌電信號活動段中肌電信號的絕對值取均值，作為肌電信號的特征。

7.根據權利要求1所述的變電站虛擬環境中的精準手勢識別方法，其特征在于，所述步驟4包括以下具體步驟：

步驟4.1：將獲得的視頻信號的特征送入HMM分類器，得到初級視頻信號分類結果C₁以及對應的置信度Conf₁；

步驟4.2：將獲得的肌電信號的特征送入NN分類器，得到初級肌電信號分類結果C₂以及對應的置信度Conf₂。

8.根據權利要求7所述的變電站虛擬環境中的精準手勢識別方法，其特征在于，所述步驟5包括以下具體步驟：

步驟5.1：若步驟4.1的視頻信號識別結果不屬于手勢集合Set，則對步驟4.2的肌電信號識別結果進行判斷：

若肌電特征的初級分類結果的置信度Conf₂大于0.8，則選擇肌電特征為手勢識別最終結果，否則放棄該組手勢數據，不做任何響應操作；

步驟5.2：若步驟4.1的視頻信號識別結果屬于手勢集合Set，但步驟4.2的肌電信號識別結果不屬于手勢集合Set，則對步驟4.1的視頻信號識別結果進行判斷：

若視頻特征的初級分類結果的置信度Conf₁大于0.8，則選擇視頻特征為手勢識別最終結果，否則放棄該組手勢數據，不做任何響應操作；

步驟5.3、若該步驟4.1和步驟4.2的識別結果都屬于手勢集合Set，則定義以下規則：

若視頻特征的初級分類結果與肌電特征的初級分類結果均屬于手勢集合Set，且視頻特征的初級分類結果的置信度大于0.6，則C₁作為手勢識別最終結果；若視頻特征的初級分類結果與肌電特征的初級分類結果均屬于手勢集合Set，但不大于0.6，則放棄該組手勢數據，不做任何響應操作；

步驟5.4：根據得到的結果進行對應響應操作。