[發明專利]一種基于AR的遠程協助系統的交互方法、系統和存儲介質

有效

• 申請號: 201910969708.0
• 申請日: 2019-10-12
• 公開（公告）號: CN110708384B
• 公開（公告）日: 2020-12-15
• 發明（設計）人: 謝輝
• 申請（專利權）人: 西安維度視界科技有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L29/06;H04M1/725;H04N7/18
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明涉及遠程協助技術領域，具體涉及一種基于AR的遠程協助系統的交互方法、系統和存儲介質，其中方法包括實時獲取待協助現場的第一圖像信息并將第一圖像信息發送至專家端；將專家標注后的標注點的位置信息實時返回給求助端；求助端獲取標注點處的深度信息以及求助端相對于上一時刻的移動信息，根據深度信息和移動信息計算標注點的待調整量；根據待調整量實時更新標注點在求助端和專家端畫面上的位置。采用該交互方法以消除由于用戶頭部晃動而引起的標注點在用戶端顯示時與實際標注位置產生的偏移，該方法保證了遠程協助時標注的準確性，提高了遠程協助的效果。

技術領域

本發明涉及遠程協助技術領域，具體涉及一種基于AR的遠程協助系統的交互方法、系統和存儲介質。

背景技術

現在AR技術已經廣泛的應用于機械組裝、設備維修和結構展示等領域，尤其是應用于機械組裝和設備維修時，有時候現場無法解決的技術問題，往往需要求助于遠程的專家，這時候就需要采用遠程協助系統，現有的遠程協助系統往往是通過獲取現場的二維畫面進行截圖，并將該畫面截圖發送給遠程的專家，專家在截圖上完成標注后，再將截圖發送給現場人員，以達到遠程協助的目的。這種采用截圖標注的方式雖然也能達到遠程協助的目的，但是效果不夠理想，因為無法實時性的、多互動性的進行指導。另外，如果采用視頻的方式進行指導，專家直接在動態圖畫面上進行標注，由于現場人員頭部晃動，引起佩戴的AR眼鏡會晃動，加上數據傳輸的延遲性，則專家的標注位置傳回到求助端時和實際的標注位置也會發生移動，無法達到準確標注的作用。

發明內容

為了解決現有技術中由于現場人員的佩戴的AR眼鏡的晃動導致遠程協助時標注的位置發生移動，導致標注不準確的技術問題。本申請提供以下技術方案：

一種基于AR的遠程協助系統的交互方法,包括：

實時獲取待協助現場的第一圖像信息并將所述第一圖像信息發送至專家端；

將專家完成標注后的標注點的位置信息實時返回給求助端；

求助端獲取所述標注點處的深度信息以及所述求助端相對于上一時刻的移動信息，根據所述深度信息和移動信息計算標注點的待調整量；

根據所述待調整量實時更新所述標注點在求助端和專家端顯示的第二圖像信息上的位置。

其中，所述獲取所述標注點處的深度信息以及所述求助端相對于上一時刻的移動信息，根據所述深度信息和移動信息計算標注點的待調整量，包括：

獲取所述標注點處的深度值；

獲取所述求助端當前時刻相對于發送所述第一圖像信息時刻的位移量和轉動量；

根據所述位移量、轉動量以及深度值計算所述標注點在所述第二圖像信息上相應的待調整量。

其中，所述根據所述待調整量實時更新所述標注點在求助端和專家端顯示的第二圖像信息上的位置，包括：

所述待調整量包括所述標注點在第二圖像信息上的待調整位移，根據所述待調整位移結合所述第二圖像信息的像素間距得到待調整像素值，根據所述待調整像素值調整所述標注點在第二圖像信息上的位置。

其中，所述獲取所述標注點處的深度信息，包括：

采用深度傳感器、紅外測距傳感器、TOF相機、結構光相機中的一種或多種獲取所述標注點處的深度值。

進一步的，還包括：

獲取所述待調整像素值后，將所述待調整像素值實時發送給專家端，并根據所述待調整像素值實時調整所述求助端和專家端的第二圖像信息上所述標注點的位置。

一種基于AR的遠程協助系統的交互系統，包括第一用戶設備和第二用戶設備；