[發明專利]變電站虛擬環境中的精準手勢識別方法

在審

• 申請號: 201910361421.X
• 申請日: 2019-04-30
• 公開（公告）號: CN110231864A
• 公開（公告）日: 2019-09-13
• 發明（設計）人: 蘇慧民;褚國偉;劉澤;戴黎明
• 申請（專利權）人: 國網江蘇省電力有限公司常州供電分公司;國網江蘇省電力有限公司;國家電網有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00;G06K9/62
• 代理公司: 常州市江海陽光知識產權代理有限公司 32214
• 代理人: 張兢

本發明提供一種變電站虛擬環境中的精準手勢識別方法，方法步驟包括：首先預定義手勢；然后分別捕捉視頻信號和采集肌電信號，并進行信號處理；接著將處理好的手勢信號與預定義的手勢進行分類和匹配；最后融合兩組信號的匹配結果，得到手勢識別結果。本發明擴展了變電站虛擬環境中的可穿戴虛擬現實頭盔的手勢識別范圍，實現了高精度高靈活性的手勢識別。

技術領域

本發明涉及變電站仿真和計算機視覺領域，特別是一種變電站虛擬環境中的精準手勢識別方法。

背景技術

人機交互是目前研究的熱點和難點，而數據融合作為人機交互任務的基礎，已成為人機交互領域中至關重要的研究問題。

HTC VIVE虛擬現實頭顯設備，是集虛擬現實場景展現、人機交互于一身的可穿戴智能眼鏡設備，該設備可獲取視頻數據進行簡單的手勢交互，但其可識別手勢有限。多傳感器融合涉及數據融合技術，數據融合技術是指通過某種規則將多個傳感器捕獲到的在時間或空間上存在冗余或互補性的運動數據進行組合，得到比單一傳感器通道更加豐富的信息，從而獲得對被測目標進行描述或理解的一致性。多源數據融合可分為3種思路與方法：第一，數據層融合，即先對各模態的數據進行簡單組合形成新的特征向量，再進行后續的常規分類或識別等過程。第二，特征層融合，即從單模態數據中提取有效互補的特征，通過時間尺度等規則將這些特征有機結合在一起，作為統一的多模態數據特征。第三，決策層融合，即從不同模態的數據中分別提取特征，通過模式識別過程獲得識別結果與權重，再通過融合策略獲得最后的判別或識別結果。

HTC VIVE虛擬現實頭顯設備目前只可以識別手掌張開和手指點擊兩種手勢，還存在交互受限等問題，目前不能結合肌電信號采集設備進行手勢識別擴展，無法實現高精度高靈活性的手勢識別。

發明內容

本發明的目的是：提供一種高精度、高靈活性的變電站虛擬環境中的精準手勢識別方法，以增強虛擬現實頭盔手勢識別能力，并擴展其識別的手勢種類。

本發明的技術方案是：本發明的變電站虛擬環境中的精準手勢識別方法，包括以下步驟：

步驟1：預定義包括變電站虛擬仿真中需要識別的手勢在內的手勢集合；

步驟2：分別采集各手勢對應的視頻信號和肌電信號；

步驟3：對采集到的視頻信號和肌電信號分別進行信號處理，得到視頻信號的特征和肌電信號的特征；

步驟4：基于視頻信號的特征和肌電信號的特征，將對應的手勢與預定義的手勢進行分類和匹配；

步驟5：融合兩組信號的匹配結果，得到手勢識別結果。

進一步的方案是，上述步驟1所述的預定義手勢集合為：

定義手勢集合Set，包括虛擬現實頭盔HTC VIVE內置手勢Set₂和需要增加的手勢集合Set₁；需要增加的手勢集合Set₁中的手勢包括：握拳、向左揮動手掌和向右揮動手掌。

進一步的方案是：上述步驟2包括以下具體步驟：

步驟2.1：實驗者做出手勢集合Set__D_；

步驟2.2：通過虛擬現實頭盔采集各手勢對應的視頻信號；

步驟2.3：通過肌電信號采集裝置采集各手勢對應的肌電信號。

進一步的方案是：上述步驟2述步驟3包括以下具體步驟：

步驟3.1：對采集到的視頻信號進行手勢分割、特征提取，獲得手勢運動軌跡，作為視頻信號的特征；

步驟3.2：對采集到的肌電信號進行手勢分割、特征提取，獲得到肌電信號活動段中肌電信號的絕對值均值，作為肌電信號的特征。