[發明專利]基于自然行走的沉浸式遠程交互系統及方法

有效

• 申請號: 202010541806.7
• 申請日: 2020-06-15
• 公開（公告）號: CN111716365B
• 公開（公告）日: 2022-02-15
• 發明（設計）人: 蓋偉;楊承磊;趙燕帥;師脈旺;王雯菲
• 申請（專利權）人: 山東大學
• 主分類號: B25J11/00
• 分類號: B25J11/00;B25J5/00;B25J9/16;B25J19/02
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 黃海麗

1.基于自然行走的沉浸式遠程交互系統，其特征是，包括：

機器人、服務器、位置跟蹤設備和使用時佩戴在用戶頭部的頭戴式虛擬現實設備；位置跟蹤設備和頭戴式虛擬現實設備處于同一個物理空間內，機器人和頭戴式虛擬現實設備處于不同的物理空間內；

根據用戶的動作數據遠程控制機器人的動作，同時，將機器人的動作通過服務器傳輸給頭戴式虛擬現實設備，進而展示給用戶，實現機器人與用戶之間的交互；

所述根據用戶的動作數據控制機器人的動作；具體步驟包括：

頭戴式虛擬現實設備捕獲用戶頭部轉動數據，和/或位置跟蹤設備捕獲用戶位置變化數據；并將捕獲的數據傳輸給服務器；

服務器將用戶位置變化數據映射為機器人位置變化數據，和/或服務器將用戶頭部轉動數據映射為機器人旋轉角度數據；服務器將映射后的數據轉發給機器人；

機器人根據映射后的數據完成機器人位置變化，和/或完成機器人角度旋轉；

具體的，頭戴式虛擬現實設備獲取用戶頭部的運動數據作為控制機器人旋轉運動的數據，利用用戶相鄰時刻的頭部偏航角度變化對機器人進行旋轉控制，公式為：

Δang＝ang_usr^t–ang_usr^t-1

Δr＝Δang*л/180

其中，ang_usr^t為t時刻用戶頭部的偏航角度，Δang為相鄰時刻用戶頭部偏航角度發生的變化，Δr為控制機器人旋轉的弧度參數；

位置跟蹤設備捕獲用戶彩色圖像和深度圖像，計算用戶位置信息作為控制機器人運動的數據，利用用戶相鄰時刻的位置變化對機器人進行位置控制，公式為：

Δpos＝pos^t–pos^t-1

其中，pos^t為t時刻用戶的位置，Δpos為相鄰時刻用戶位置變化。

2.如權利要求1所述的系統，其特征是，所述將機器人的動作通過服務器傳輸給頭戴式虛擬現實設備，進而展示給用戶；具體步驟包括：

機器人采集現場的視頻數據，通過服務器傳輸給頭戴式虛擬現實設備，頭戴式虛擬現實設備將視頻顯示給用戶，并接收用戶的下一個位置變化數據和/或頭部轉動數據。

3.如權利要求1所述的系統，其特征是，所述系統，還包括：

頭戴式虛擬現實設備接收到機器人拍攝的遠程物理空間的視頻后，頭戴式虛擬現實設備根據用戶選擇指令，開啟機器人自主漫游模式；

機器人接收到服務器傳輸過來的機器人自主漫游模式開啟指令后，執行自主漫游運動。

4.如權利要求1所述的系統，其特征是，所述機器人，包括：

第一控制器，所述第一控制器分別與第一麥克風、攝像頭、第一通信模塊和移動平臺控制器連接；

所述移動平臺控制器與移動平臺驅動器連接，所述移動平臺驅動器分別與移動平臺轉動機構和移動平臺移動機構連接；所述第一通信模塊與服務器進行通信。

5.如權利要求4所述的系統，其特征是，所述第一麥克風，用于獲取機器人所在現場的語音數據，將獲取的語音數據通過第一控制器傳輸給第一通信模塊，第一通信模塊再將機器人所在現場的語音數據通過服務器傳輸給頭戴式虛擬現實設備；

所述攝像頭，用于采集機器人視野范圍內的視頻信息；將獲取的機器人視野范圍內的視頻信息通過第一控制器傳輸給第一通信模塊，第一通信模塊再將機器人視野范圍內的視頻信息通過服務器傳輸給頭戴式虛擬現實設備。

6.如權利要求4所述的系統，其特征是，所述第一通信模塊將攝像頭采集的機器人視野范圍內的視頻信息、語音數據，并通過網絡通訊方式傳輸給服務器；服務器再通過網絡通訊方式，將機器人所在現場視頻信息、語音數據，傳輸給頭戴式虛擬現實設備；

所述移動平臺控制器，用于根據頭戴式虛擬現實設備傳輸過來的位置變化數據和旋轉角度數據，對移動平臺的位置變化和角度旋轉進行控制；

所述移動平臺轉動機構，用于根據移動平臺控制器的控制指令，完成移動平臺的轉動；

所述移動平臺移動機構，用于根據移動平臺控制器的控制指令，完成移動平臺的移動。