[發明專利]一種基于AR的遠程協助系統的交互方法、系統和存儲介質

有效

• 申請號: 201910969708.0
• 申請日: 2019-10-12
• 公開（公告）號: CN110708384B
• 公開（公告）日: 2020-12-15
• 發明（設計）人: 謝輝
• 申請（專利權）人: 西安維度視界科技有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L29/06;H04M1/725;H04N7/18
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于AR的遠程協助系統的交互方法,其特征在于，包括：

實時獲取待協助現場的第一圖像信息并將所述第一圖像信息發送至專家端；

將專家完成標注后的標注點的位置信息實時返回給求助端；

求助端獲取所述標注點處的深度信息以及所述求助端相對于上一時刻的移動信息，根據所述深度信息和移動信息計算標注點的待調整量；

根據所述待調整量實時更新所述標注點在求助端和專家端顯示的第二圖像信息上的位置；

所述求助端獲取所述標注點處的深度信息以及所述求助端相對于上一時刻的移動信息，根據所述深度信息和移動信息計算標注點的待調整量，包括：

求助端獲取所述標注點處的深度值；

獲取所述求助端當前時刻相對于發送所述第一圖像信息時刻的位移量和轉動量；

根據所述位移量、轉動量以及深度值計算所述標注點在所述第二圖像信息上相應的待調整量。

2.如權利要求1所述的交互方法，其特征在于，所述根據所述待調整量實時更新所述標注點在專家端顯示的第二圖像信息上的位置，包括：

所述待調整量包括所述標注點在第二圖像信息上的待調整位移，根據所述待調整位移結合所述第二圖像信息的像素間距得到待調整像素值，根據所述待調整像素值調整所述標注點在第二圖像信息上的位置。

3.如權利要求1所述的交互方法，其特征在于，所述獲取所述標注點處的深度信息，包括：

采用深度傳感器、紅外測距傳感器、TOF相機、結構光相機中的一種或多種獲取所述標注點處的深度值。

4.如權利要求1所述的交互方法，其特征在于，還包括：

獲取所述待調整像素值后，將所述待調整像素值實時發送給專家端，并根據所述待調整像素值實時調整所述求助端和專家端的第二圖像信息上所述標注點的位置。

5.一種基于AR的遠程協助系統的交互系統，其特征在于，包括第一用戶設備和第二用戶設備；

所述第一用戶設備用于獲取待協助現場的第一圖像信息并將所述第一圖像信息發送至第二用戶設備；

所述第二用戶設備用于將專家完成標注后的標注點的位置信息實時返回給的第一用戶設備；

所述第一用戶設備還用于獲取所述標注點處的深度信息以及該第一用戶設備相對于上一時刻的移動信息，根據所述深度信息和移動信息計算標注點的待調整量；并根據所述待調整量實時更新所述標注點在求助端和專家端顯示的第二圖像信息上的位置；

所述第一用戶設備包括：

攝像頭，用于獲取待協助現場的第一圖像信息；

第一通信模塊，用于將所述第一圖像信息發送至所述第二用戶設備；

深度相機傳感器，用于獲取所述標注點位置的深度信息；

第一傳感器，用于獲取所述攝像頭相對于上一時刻的移動信息；

第一處理器，用于所述深度信息和移動信息計算標注點的待調整量，并根據所述待調整量實時更新所述標注點在所述第二圖像信息上的位置。

6.如權利要求5所述的交互系統，其特征在于，所述第二用戶設備包括：

第二通信模塊，用于接收所述第一用戶設備發送的第一圖像信息；

第二顯示屏，用于呈現所述第一圖像信息；

輸入裝置，用于專家在所述第一圖像信息上進行標注；

第二處理器，用于提取所述標注后在第一圖像上的位置信息，并將所述標注點的位置信息發送給所述第一用戶設備。

7.如權利要求6所述的交互系統，其特征在于，所述根據所述待調整量實時更新所述標注點在所述第二圖像信息上的位置，包括：

所述待調整量包括所述標注點在第二圖像信息上的待調整位移，根據所述待調整位移結合所述第二圖像信息的像素間距得到待調整像素值，根據所述待調整像素值調整所述標注點在第二圖像信息上的位置。

8.一種計算機可讀存儲介質，其特征在于，包括程序，所述程序能夠被處理器執行以實現如權利要求1-4中任一項所述的方法。