[發明專利]一種協同式增強現實的可穿戴作業指導方法及系統

在審

• 申請號: 201710361307.8
• 申請日: 2017-05-19
• 公開（公告）號: CN107168537A
• 公開（公告）日: 2017-09-15
• 發明（設計）人: 梁波;張鎮;劉宇
• 申請（專利權）人: 山東萬騰電子科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06T19/00
• 代理公司: 濟南圣達知識產權代理有限公司37221
• 代理人: 黃海麗

1.一種協同式增強現實的可穿戴作業指導方法，其特征是，包括：

步驟（1）：場景確認：根據工廠車間工藝操作要求，確認場景中的設備種類和設備規格型號，確認場景中協同工作的工人數，確認圖像識別定位點的數目和位置，確認標準的工藝步驟、使用的零部件和每個工藝步驟的指導說明；

步驟（2）：場景搭建：根據步驟（1）使用三維建模軟件設計場景中所包含的所有設備和零部件的3D模型，部署3D模型在場景中的初始位置，將3D模型和模型初始位置信息存儲到數據存儲服務器中；錄入所述場景的工藝步驟和每個工藝步驟的指導說明，不同角色的工人被賦予與角色對應的工藝步驟；

步驟（3）：多用戶協同角色分配：多人協同工作中的每個工人都有各自的職責和工藝步驟，按照職責劃分出參與場景的角色，一個角色對應一個工人，通過配置可穿戴增強現實設備的編碼與角色之間的一一對應關系，使得每個工人的可穿戴增強現實設備上展示的內容與工人實際工作內容一致；

步驟（4）：圖像識別定位點設立：采用基于圖像識別的空間定位技術，在真實環境的位置點放置識別體，通過攝像頭拍攝識別體，然后對所拍攝的圖片進行圖像處理，得到真實環境中識別體的位置，所述真實環境位置點是指真實環境中識別體的位置，根據真實環境中識別體的位置設置對應虛擬場景空間的映射點，所述映射點為圖像識別定位點；所述識別體設有唯一編碼，建立識別體的編碼與圖像識別定位點之間一一對應關系；

步驟（5）：場景初始化：對于工業車間現場的工作，工人需要在操作現場不斷變換位置和姿勢；可穿戴增強現實設備上的攝像頭實時抓取使用者看到的圖像，可穿戴增強現實設備的識別模塊對抓取的圖像進行圖像處理，尋找預置的識別體，根據識別體在圖像中的位置和偏轉角度，確定當前使用者的位置坐標以及觀看方向；通過使用者位置坐標以及使用者的角色，可穿戴增強現實設備中的控制模塊讀取場景需要的3D模型與工藝步驟的指導說明，并將最終展示內容發送到可穿戴增強現實設備上的增強現實模塊；最終在使用者眼前呈現虛擬信息與真實環境疊加后的圖像；

步驟（6）：協同控制：數據交互服務器控制生成過程按照標準工藝步驟執行，數據交互服務器采集協同工作的所有可穿戴增強現實設備的實時數據，如果檢測到3D模型狀態或位置同時被多個角色改變時，則通過仲裁算法篩選出操作有效的角色；數據交互服務器將仲裁結果反饋給對應角色，并實時同步所述3D模型狀態或位置到其他角色的可穿戴增強現實設備；

步驟（7）：協同式場景更新：如果數據交互服務器檢測到可穿戴增強現實設備更改了場景內3D模型位置時，數據交互服務器實時將變動后的場景數據同步到其他角色的可穿戴增強現實設備，可穿戴增強現實設備收到新的場景數據后，可穿戴增強現實設備的控制模塊根據設備使用者的坐標位置和觀看方向控制增強現實模塊更新場景內容；

步驟（8）：協同式狀態更新：使用者按照場景的工藝步驟做完一個步驟后，等待接收確認信息，如果收到使用者輸入的當前步驟操作完成的確認信息，則可穿戴增強現實設備通過網絡傳輸模塊將當前操作完成信息發送給數據交互服務器，數據交互服務器更新角色狀態到數據存儲服務器，數據交互服務器將當前角色狀態同步到其他角色的可穿戴增強現實設備中并提示下一個工藝步驟操作的角色按照指導說明操作；

還包括：

所述仲裁算法如下：

步驟（61）：采集每個角色操作的時間戳和操作內容；

步驟（62）：分析3D模型是否已經被注冊占用；

步驟（63）：如果已經被注冊，僅注冊的角色擁有變動3D模型的權限；

步驟（64）：如沒被注冊占用，通過時間戳或角色的職責選擇一個角色的操作有效；

步驟（65）：將3D模型與步驟（64）選擇的角色關聯，表明該3D模型當前已經被注冊占用；

步驟（66）：返回到步驟(61)循環。

2.如權利要求1所述的方法，其特征是，還包括：所述識別體包括平貼在定位點上的圖片、定位點處拍攝的背景照片或三維物體。