[發明專利]基于自然行走的沉浸式遠程交互系統及方法

有效

• 申請號: 202010541806.7
• 申請日: 2020-06-15
• 公開（公告）號: CN111716365B
• 公開（公告）日: 2022-02-15
• 發明（設計）人: 蓋偉;楊承磊;趙燕帥;師脈旺;王雯菲
• 申請（專利權）人: 山東大學
• 主分類號: B25J11/00
• 分類號: B25J11/00;B25J5/00;B25J9/16;B25J19/02
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 黃海麗

本公開公開了基于自然行走的沉浸式遠程交互系統及方法，包括：機器人、服務器、位置跟蹤設備和使用時佩戴在用戶頭部的頭戴式虛擬現實設備；位置跟蹤設備和頭戴式虛擬現實設備處于同一個物理空間內，機器人和頭戴式虛擬現實設備處于不同的物理空間內；根據用戶的動作數據遠程控制機器人的動作，同時，將機器人的動作通過服務器傳輸給頭戴式虛擬現實設備，進而展示給用戶，實現機器人與用戶之間的交互。

技術領域

本公開涉及虛擬現實技術領域，特別是涉及基于自然行走的沉浸式遠程交互系統及方法。

背景技術

本部分的陳述僅僅是提到了與本公開相關的背景技術，并不必然構成現有技術。

隨著機器人技術的發展，機器人已廣泛應用于工業生產、教育、醫療等領域。而遠程機器人系統，即由人工操作人員下達指令，由機器人完成指令的系統，常被應用于危險或不確定的環境中，如搜救、消防等需要人工干預的環境中，以檢測和監控異常。例如，在火災現場，有危險的火焰，存在煙霧、高溫和爆炸的可能性，消防員很難進入現場，因此，機器人成為人們不能或不應該進入的危險環境中的一種有效的解決方式，并保護一線人員免受危險。機器人如何在危險的環境下完成任務成為關鍵的問題。在不利或危險的環境中，場景具有動態性、復雜性、不受控制等特征。僅靠機器人的響應方法，由于先驗知識和感知能力的缺乏，很可能會對任務完成產生負面影響。在這種情況下，就需要將機器人的優勢與人類智慧相結合來執行任務，即機器人可以在危險的環境中充當人類的化身，行為可以被人直接控制；人可以通過機器人傳輸回的信息感知危險場景，并做出正確的行為判斷。

構建和呈現與真實環境相似的虛擬環境是非常重要的。虛擬環境(virtualenvironment，VE)是可以構建的，在虛擬環境中，操作員可以在他們實際不存在的情況下，感覺到他們實際存在于遠程環境中。然而，目前大多數機器人傳輸回的視頻信息，通常呈現在計算機圖形用戶界面上，缺乏深度信息，這會導致遠程操作者很難估計圖像中的距離信息，對機器人的遠程操作可能產生不準確的控制。此外，在虛擬環境中，操作者所使用的漫游技術對于遠程機器人有效導航和避免碰撞也具有重要意義。但是，現有的漫游技術主要是基于鍵盤、鼠標、手柄、操縱桿或全向跑步機設備。相比之下，當操作者真正在VR系統中行走時，他們的存在感會顯著增強。

發明內容

為了解決現有技術的不足，考慮到新一代的頭戴式虛擬現實設備可以提供更好的沉浸感，在操作上具有更高的靈活性，并允許操作者通過自由的物理行走來查看3D圖像和在虛擬世界中導航，本公開提供了基于自然行走的沉浸式遠程交互系統及方法；本公開具有簡單、方便、易操作等特點。本公開支持將遠程用戶在物理空間中的真實運動映射為機器人在場景中的運動；支持遠程用戶通過頭部運動和真實行走的方式與機器人進行交互，控制機器人在場景中的操作；利用頭戴式虛擬現實設備，通過手機自帶的傳感器捕獲用戶頭部的轉動，利用RGB-D相機對用戶真實姿態的跟蹤和識別，對機器人傳輸回的視頻進行沉浸式體驗，創造能讓用戶感受到的更強更自然的沉浸式體驗。

第一方面，本公開提供了基于自然行走的沉浸式遠程交互系統；

基于自然行走的沉浸式遠程交互系統，包括：

機器人、服務器、位置跟蹤設備和使用時佩戴在用戶頭部的頭戴式虛擬現實設備；位置跟蹤設備和頭戴式虛擬現實設備處于同一個物理空間內，機器人和頭戴式虛擬現實設備處于不同的物理空間內；

根據用戶的動作數據遠程控制機器人的動作，同時，將機器人的動作通過服務器傳輸給用戶的頭戴式虛擬現實設備，進而展示給用戶，實現機器人與用戶之間的交互。

第二方面，本公開提供了基于自然行走的沉浸式遠程交互方法；

基于自然行走的沉浸式遠程交互方法，包括：

根據用戶的動作數據遠程控制機器人的動作，同時，將機器人的動作通過服務器傳輸給用戶的頭戴式虛擬現實設備，進而展示給用戶，實現機器人與用戶之間的交互。