[發明專利]一種通過AR眼鏡訓練手眼協調的方法

在審

• 申請號: 202210135015.3
• 申請日: 2022-02-14
• 公開（公告）號: CN114637395A
• 公開（公告）日: 2022-06-17
• 發明（設計）人: 王建華;林瓊
• 申請（專利權）人: 上海詮視傳感技術有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06V20/20;G06V40/20;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 上海大為知衛知識產權代理事務所(普通合伙) 31390
• 代理人: 何銀南

1.一種通過AR眼鏡訓練手眼協調的方法，其特征在于：包括以下步驟：

建立訓練物3D模型；

設計并建立訓練場景模型；

將所述訓練物3D模型通過slam定位錨定在所述訓練場景模型內；

將所述訓練場景模型和所述訓練物3D模型顯示在AR眼鏡的顯示端；

使用者佩戴所述AR眼鏡，所述AR眼鏡識別使用者手勢并在所述訓練場景模型內定位手勢模型并在所述AR眼鏡的顯示端顯示；

使用者通過手部運動控制所述手勢模型與所述訓練物3D模型進行互動，從而實現訓練眼手協調。

2.根據權利要求1所述的一種通過AR眼鏡訓練手眼協調的方法，其特征在于：建立訓練物3D模型的具體步驟如下：

制作訓練物的實體模型；

對所述實體模型進行3D掃描得到訓練物3D模型。

3.根據權利要求1所述的一種通過AR眼鏡訓練手眼協調的方法，其特征在于：建立訓練物3D模型的具體步驟如下：

從網絡圖庫中找到訓練物的圖片；

對照訓練物的圖片通過3D建模軟件建立訓練物3D模型。

4.根據權利要求1所述的一種通過AR眼鏡訓練手眼協調的方法，其特征在于：通過unity軟件設計并建立訓練場景模型。

5.根據權利要求1所述的一種通過AR眼鏡訓練手眼協調的方法，其特征在于：所述AR眼鏡內設置有slam定位模塊，所述slam定位模塊用于對所述訓練物3D模型和手勢模型在所述訓練場景模型內進行定位錨定。

6.根據權利要求1所述的一種通過AR眼鏡訓練手眼協調的方法，其特征在于：所述AR眼鏡內設置有手勢識別模塊，所述手勢識別模塊用于實時追蹤使用者手部動作和手部移動位置，并將處于所述訓練場景模型內的手勢模型實時匹配使用者手部動作和手部移動位置。

7.根據權利要求6所述的一種通過AR眼鏡訓練手眼協調的方法，其特征在于：所述手勢識別模塊包括攝像頭和計算芯片，所述計算芯片內寫有底層識別模型，所述攝像頭用于捕捉使用者手勢，將捕捉到的手勢傳遞給計算芯片，計算芯片將捕捉的手勢和預存儲的手勢特征進行匹配，當匹配成功時，利用所述手勢指令傳遞通路，傳遞特征對應的手勢指令至計算芯片。

8.根據權利要求7所述的一種通過AR眼鏡訓練手眼協調的方法，其特征在于：所述底層識別模型的訓練的具體步驟如下：

由使用者做出手眼協調訓練的常用手勢，采集該組手勢圖像，記為標準組；根據標準組手勢模型圖，構建其對應的實際標簽類別；設置不同的標簽類別觸發相應AR系統指定功能；

由使用者多次重復標準組的手勢，并采集所得多組手勢圖像，記為訓練樣本組；記錄使用者在AR終端實現人機交互時的多組手勢圖像，記為測試樣本組；

分別對標準組、訓練樣本組及測試樣本組的手勢圖像進行手勢區域圖像檢測，以實現圖像中膚色與非膚色區域的分割，得到二值化圖像；

設計卷積神經網絡初步結構模型，用樣本數據訓練并測試調整卷積神經網絡模型，將二值化圖像直接輸入所述卷積神經網絡進行訓練，得到底層識別模型。