[發明專利]一種協同式增強現實的可穿戴作業指導方法及系統

在審

• 申請號: 201710361307.8
• 申請日: 2017-05-19
• 公開（公告）號: CN107168537A
• 公開（公告）日: 2017-09-15
• 發明（設計）人: 梁波;張鎮;劉宇
• 申請（專利權）人: 山東萬騰電子科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06T19/00
• 代理公司: 濟南圣達知識產權代理有限公司37221
• 代理人: 黃海麗

本發明公開了一種協同式增強現實的可穿戴作業指導方法及系統，包括：場景確認；場景搭建；多用戶協同角色分配；圖像識別定位點設立；場景初始化：可穿戴增強現實設備上的攝像頭實時抓取使用者看到的圖像，可穿戴增強現實設備的識別模塊對抓取的圖像進行圖像處理，尋找預置的識別體，根據識別體在圖像中的位置和偏轉角度，確定當前使用者的位置坐標以及觀看方向；通過使用者位置坐標以及使用者的角色，可穿戴增強現實設備中的控制模塊讀取場景需要的3D模型與工藝步驟的指導說明，并將最終展示內容發送到可穿戴增強現實設備上的增強現實模塊；最終在使用者眼前呈現虛擬信息與真實環境疊加后的圖像。

技術領域

本發明涉及一種協同式增強現實的可穿戴作業指導方法及系統。

背景技術

在工業生產領域，對新工人的指導系統主流系統還是基于服務器或平板電腦的桌面虛擬現實技術。雖然可以呈現更加逼真的畫面，但是由于桌面虛擬現實系統本身的不易攜帶和脫離真實環境的特性，使用者需要固定在特定位置，通過鼠標、鍵盤等設備與虛擬場景進行有限交互。對于工業車間現場的工作，工人需要在操作現場不斷變換位置和姿勢，基于桌面虛擬現實技術的制導系統由于其不易攜帶的特性已經不能滿足實時指導的需求。

增強現實(Augmented Reality，簡稱AR)，也被稱為擴增現實。增強現實技術將原本在現實世界的一定時間空間范圍內很難體驗到的實體信息，通過電腦等科學技術，模擬仿真后再疊加，將虛擬的信息應用到真實世界，被人類感官所感知，從而達到超越現實的感官體驗?？纱┐髟鰪姮F實設備能夠跟隨工人在車間現場隨意變動位置，將指導說明信息疊加到真實世界，從而滿足實時指導的需求。然而，對于車間現場中需要多個工人協同完成的工作，需要多個可穿戴增強現實設備相互關聯指導整個操作流程，增強現實技術本身不具備通信能力。

協同式增強現實技術(Collaborative Augmented Reality，簡稱CAR)是增強現實技術與網絡技術的結合，它能夠讓多個工人同時感受到虛擬對象與真實環境融合為一體的增強現實場景，并能夠在網絡通信平臺上進行各種交互操作和協同工作，共同完成預定任務。

發明內容

本發明要解決的技術問題為提供一種協同式增強現實的可穿戴作業指導方法及系統，利用增強現實技術，豐富人機交互的過程，建立現實與虛擬世界的數據聯系；利用網絡通信技術，同步指導多人協作，保證標準的多人協同作業流程指導和豐富詳細的指導內容展示。

為了實現上述目的，本發明采用如下技術方案：

一種協同式增強現實的可穿戴作業指導方法，包括：

步驟(1)：場景確認：根據工廠車間工藝操作要求，確認場景中的設備種類和設備規格型號，確認場景中協同工作的工人數，確認圖像識別定位點的數目和位置，確認標準的工藝步驟、使用的零部件和每個工藝步驟的指導說明；

步驟(2)：場景搭建：根據步驟(1)使用三維建模軟件設計場景中所包含的所有設備和零部件的3D模型，部署3D模型在場景中的初始位置，將3D模型和模型初始位置信息存儲到數據存儲服務器中；錄入所述場景的工藝步驟和每個工藝步驟的指導說明，不同角色的工人被賦予與角色對應的工藝步驟；

步驟(3)：多用戶協同角色分配：多人協同工作中的每個工人都有各自的職責和工藝步驟，按照職責劃分出參與場景的角色，一個角色對應一個工人，通過配置可穿戴增強現實設備的編碼與角色之間的一一對應關系，使得每個工人的可穿戴增強現實設備上展示的內容與工人實際工作內容一致；

步驟(4)：圖像識別定位點設立：在真實環境的位置點放置識別體，通過攝像頭拍攝識別體，然后通過圖像處理所拍攝的圖片得到真實環境中識別體的位置，所述真實環境位置點是指真實環境中識別體的位置，根據真實環境中識別體的位置設置對應虛擬場景空間的映射點，所述映射點為圖像識別定位點；所述識別體設有唯一編碼，建立識別體的編碼與圖像識別定位點之間一一對應關系；