[發明專利]一種基于增強現實的遠程指導的方法與設備

在審

• 申請號: 201910939796.X
• 申請日: 2019-09-30
• 公開（公告）號: CN110751735A
• 公開（公告）日: 2020-02-04
• 發明（設計）人: 廖春元;胡軍
• 申請（專利權）人: 亮風臺(上海)信息科技有限公司
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T17/00
• 代理公司: 31230 上海三和萬國知識產權代理事務所(普通合伙)
• 代理人: 周建華

本申請的目的是提供一種基于增強現實的遠程指導的方法與設備，該方法包括：獲取并存儲第二用戶的當前操作對象的三維對象模型，其中，所述第二用戶根據第一用戶的指導對所述當前操作對象執行操作；響應于基于所述三維對象模型進行指導的觸發事件，通過所述第一用戶設備呈現所述三維對象模型；響應于所述第一用戶基于所述三維對象模型的指導操作，生成所述指導操作對應的指導信息；將所述指導信息發送至所述第二用戶所使用的增強現實設備。本申請對網絡要求較低，能夠節約網絡帶寬，提高刷新率，相比于現有技術中網絡較差時的遠程協作處理方式，指導方能夠獲得現場更多細節，能提高效率和準確率。

技術領域

本申請涉及通信領域，尤其涉及一種基于增強現實的遠程指導的技術。

背景技術

現有技術中，遠程協作是基于音視頻通訊，通過增強現實的展示方式，遠端的指導員對本地端的操作員進行遠程的技術指導(例如，標注、涂鴉)，音視頻通訊占用網絡帶寬，視頻幀率一般介于15-24幀之間，可能存在影響視頻畫面的穩定性的問題。在網絡較差時，現有的遠程協作方法，會降低視頻幀率、分辨率、視頻質量等，或者直接關閉視頻，用音頻來進行遠程協助，這種方式指導方并不能準確的把握被指導方現場的環境，給指導帶來了障礙，使得指導效率下降，甚至達不到指導的效果，或者，發送現場圖像到遠端，遠端指導者可以基于現場圖像用涂鴉、標注等的方式來指導前方，配合語音指導，這樣能提高效率和準確率，對網絡要求較低，然而，在遠程協作中，這種基于現場單張圖像進行遠程協作的方式，缺少對被指導方現場的把握。

發明內容

本申請的一個目的是提供一種基于增強現實的遠程指導的方法與設備。

根據本申請的一個方面，提供了一種基于增強現實的遠程指導的方法，應用于第一用戶設備，該方法包括：

獲取并存儲第二用戶的當前操作對象的三維對象模型，其中，所述第二用戶根據第一用戶的指導對所述當前操作對象執行操作；

響應于基于所述三維對象模型進行指導的觸發事件，通過所述第一用戶設備呈現所述三維對象模型；

響應于所述第一用戶基于所述三維對象模型的指導操作，生成所述指導操作對應的指導信息；

將所述指導信息發送至所述第二用戶所使用的增強現實設備。

根據本申請的另一個方面，提供了一種基于增強現實的遠程指導的方法，應用于增強現實設備，該方法包括：

接收第一用戶發送的指導信息，其中所述指導信息是所述第一用戶基于第二用戶的當前操作對象的三維對象模型的指導操作生成的；

將所述指導信息疊加顯示在所述第二用戶的當前操作對象中，以供所述第二用戶根據所述指導信息對所述當前操作對象執行操作。

根據本申請的另一個方面，提供了一種基于增強現實的遠程指導的方法，應用于網絡設備，該方法包括：

獲取第二用戶的當前操作對象的三維重建信息，其中，所述三維重建信息用于對所述第二用戶的當前操作對象進行三維重建；

根據所述三維重建信息，生成所述第二用戶的當前操作對象的三維對象模型；

將所述三維對象模型發送至第一用戶。

根據本申請的另一個方面，提供了一種基于增強現實的遠程指導的方法，應用于網絡設備，該方法包括：

獲取第二用戶的當前操作對象的三維對象模型或三維重建信息，其中，所述三維重建信息用于對所述第二用戶的當前操作對象進行三維重建；

將所述三維對象模型或所述三維重建信息發送至第一用戶。

根據本申請的一個方面，提供了一種基于增強現實的遠程指導的第一用戶設備，該設備包括：