[發明專利]一種基于混合現實技術的ROS智能車交互方法

在審

• 申請號: 202210283152.1
• 申請日: 2022-03-22
• 公開（公告）號: CN114791765A
• 公開（公告）日: 2022-07-26
• 發明（設計）人: 吳鵬;陳進會;馮健;龔宇;張小明;王濤
• 申請（專利權）人: 浙江理工大學
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F9/451;G06T19/00
• 代理公司: 無錫市匯誠永信專利代理事務所(普通合伙) 32260
• 代理人: 朱曉林

1.一種基于混合現實技術的ROS智能車交互方法，其特征在于，包括用于獲取控制信息的本地端和用于ROS智能車響應操作信息并執行對應操作的遠程端，所述本地端包括HoloLens眼鏡，所述遠程端是由搭載Linux平臺ROS系統的工控機進行控制的的智能小車，

首先進行本地端實施步驟：

步驟一：通過Unity設計好的項目文件通過Visual Studio部署至HoloLens端；

步驟二：操作者啟動并佩戴HoloLens眼鏡，開啟HoloLens中部署的項目文件；

步驟三：在HoloLens全息圖中，可以看見所設計的ROS智能車的數字模型和渲染的場景，但此時的ROS智能小車數字模型與實體是不匹配的；

步驟四：等待與遠程端進行連接；

接下來開啟遠程端的實施步驟：

步驟五：ROS智能車的主體是ROS程序控制底盤履帶電機使履帶進行運動控制，包括底層設備的控制，常用函數的實現，還有發布ROS里程功能，通過IMU進行姿態融合，基于思嵐A2雷達的SLAM方案，構建地圖，進行導航以及避障；

步驟六：ROS系統啟動基于WebSocket的通信模塊，連接到HoloLens的ROS-Bridge服務器；

步驟七：服務器接收到連接請求后，開啟端口，并訂閱相關話題；

步驟八：采集HoloLens的深度圖，將深度圖轉換為點云，在ROS智能車是放置Kinect V2相機，采取ROS智能車的點云信息；

步驟九：通過ROS智能車所搭載的工控機，利用算法將所得到點云信息的進行匹配，得到兩者的坐標之間的剛體變換矩陣T_Trans，并將得到的剛體變換矩陣T_Trans通過TCP通訊傳送至HoloLens端；

步驟十：由于T_Human與T_MRobot的位置轉換矩陣可以已知的，加上T_Trans的轉換矩陣，就可以計算出T_MRobot_1的轉換矩陣；

步驟十一：將所得到的T_MRobot_1矩陣應用到HoloLens的混合現實界面的數字模型中，就可以實現Robot坐標系與Mrobot_1坐標系相重合，進而就可以在混合現實界面中可以將ROS智能小車的數字模型與實體相重合；

步驟十二：屆時，MR操作者就可以通過手勢來拖動全息圖中的數字模型來控制遠程端的ROS智能車；

步驟十三：當拖動全息圖中的小車數字模型時，HoloLens發布目標位置信息；

步驟十四：根據ROS通信格式，對ROS系統接收到來自HoloLens的目標位置信息進行處理；

步驟十五：通過ROS中的Action機制向 Navigation 棧發布目標點位置；

步驟十六：ROS智能車導航中的Navigation 棧接收到位置信息，驅動ROS智能車運動至指定目標，同時，在混合現實界面的數字模型與實體的運動狀態與姿態相符合。

2.根據權利要求1所述的一種基于混合現實技術的ROS智能車交互方法，其特征在于，所述ROS智能車頂部搭載雷達，所述雷達與設于ROS機器人底盤內的控制器連接，用于傳遞障礙物感知信息。

3.如權利要求1所述的一種基于混合現實技術的ROS智能車交互方法，其特征還包括：Hololens眼鏡本地端與ROS智能車遠程端通過Ros-sharp功能包進行通訊，其通訊數據格式為JSON格式。

4.如權利要求1所述的一種基于混合現實技術的ROS智能車交互方法，其特征在于，當ROS智能車運動時，遠程端發送將自身位置姿態信息至服務器，Hololens眼鏡本地端解析數據類型，并將其呈現在MR場景中，具體的為：當遠程端運動時，ROS智能車所搭載的里程計以及IMU數據也隨之改變，本地端通過ROS-sharp功能包訂閱相關話題并獲取JSON形式數據，本地端解析JSON數據并將其表現在MR場景中，其JSON數據格式主要是包括geometry_msgs/PoseWithCovariance pose、geometry_msgs/TwistWithCovariance twist。

5.如權利要求1所述的一種基于混合現實技術的ROS智能車交互方法，其特征在于，Hololens眼鏡本地端可以發送位置信息至服務器，ROS智能車遠程端解析數據類型并做出指定動作，具體的為：遠程端通過Ros-sharp訂閱相關節點，當MR操作者在MR界面中操作ROS智能車的數字模型時，會發布位置相關的JSON格式信息，ROS遠程端獲取位置信息，并執行相關指令，其JSON數據格式主要是包括float64 x、float64 y以及float64 z，分別是指定位置相對與起點的x軸坐標、y軸坐標以及z軸坐標。