[發明專利]一種基于處置機器人遙操作的人機交互系統及方法在審

申請號：	202110342829.X	申請日：	2021-03-30
公開（公告）號：	CN113103230A	公開（公告）日：	2021-07-13
發明（設計）人：	宋銳;劉偉哲;劉義祥;李鳳鳴;鄭玉坤	申請（專利權）人：	山東大學
主分類號：	B25J9/16	分類號：	B25J9/16;B25J13/00
代理公司：	濟南圣達知識產權代理有限公司 37221	代理人：	張慶騫
地址：	250061 山東***	國省代碼：	山東;37
權利要求書：	查看更多	說明書：	查看更多
摘要：
搜索關鍵詞：	一種基于處置機器人操作人機交互系統方法
鉆瓜網技術展會專利詞庫專利權人專利榜在售專利公布日期熱門專利

【說明書】：

本發明提供了一種基于處置機器人遙操作的人機交互系統及方法，其中該系統包括主端和從端，所述主端包括主機及力反饋手控器，所述主機包括目標跟蹤模塊和沉浸式增強現實模塊，所述從端包括機械臂及傳感裝置；所述主機用于通過力反饋手控器來對機械臂位姿進行遙操作控制；所述傳感裝置用于采集目標的深度信息及二維圖像并傳送至目標跟蹤模塊，所述目標跟蹤模塊用于將深度信息疊加在二維圖像中以實時跟蹤目標；所述傳感裝置還用于獲取機器人位姿并傳送至沉浸式增強現實模塊，所述沉浸式增強現實模塊用于基于機器人位姿及目標跟蹤模塊中的目標位置進行三維虛擬建模，以對機械臂運動進行預測性仿真。

技術領域

本發明屬于人機交互領域，尤其涉及一種基于處置機器人遙操作的人機交互系統及方法。

背景技術

本部分的陳述僅僅是提供了與本發明相關的背景技術信息，不必然構成在先技術。

為了完成危險環境中的處置任務，往往需要處置機器人代替處置人員進入危險環境工作，而基于用戶、機器人空間分離的遙操作控制模式應用最為廣泛，在這種控制模式下，用戶可以在主端通過遙控器等控制設備向機器人發送遠程指令，位于主端的操作人員無法身臨其境地感知從端的機器人狀態及目標處置物信息，發明人發現，由于用戶對于機器人的操作判斷是基于從端機器人當前狀態及環境的反饋，因此在這種情況下操作人員很容易對接下來的控制方案產生誤判。

發明內容

為了解決上述背景技術中存在的技術問題，本發明提供一種基于處置機器人遙操作的人機交互系統及方法，其立足于處置機器人的遙操作控制模式，不僅可以對機械臂末端位姿進行控制，還可以將機械臂末端受力反饋至主手。

為了實現上述目的，本發明采用如下技術方案：

一種基于處置機器人遙操作的人機交互系統，其包括主端和從端，所述主端包括主機及力反饋手控器，所述主機包括目標跟蹤模塊和沉浸式增強現實模塊，所述從端包括機械臂及傳感裝置；

所述主機用于通過力反饋手控器來對機械臂位姿進行遙操作控制；

所述傳感裝置用于采集目標的深度信息及二維圖像并傳送至目標跟蹤模塊，所述目標跟蹤模塊用于將深度信息疊加在二維圖像中以實時跟蹤目標；

所述傳感裝置還用于獲取機器人位姿并傳送至沉浸式增強現實模塊，所述沉浸式增強現實模塊用于基于機器人位姿及目標跟蹤模塊中的目標位置進行三維虛擬建模，以對機械臂運動進行預測性仿真。

進一步地，所述機械臂末端還設置有力傳感器，所述力傳感器用于讓用戶感知到機械臂末端的力變化。

進一步地，所述主機用于采用空間映射算法來對機械臂位姿進行遙操作控制。

進一步地，所述目標跟蹤模塊用于基于KCF算法得到目標像素位置以實時跟蹤目標。

進一步地，所述傳感裝置還用于檢測濕度、溫度或氣體信息并傳送至目標跟蹤模塊，由目標跟蹤模塊疊加在二維圖像中。

進一步地，所述沉浸式增強現實模塊用于采用區域生長法對目標進行點云建模。