[發(fā)明專(zhuān)利]一種基于處置機(jī)器人遙操作的人機(jī)交互系統(tǒng)及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110342829.X
• 申請(qǐng)日: 2021-03-30
• 公開(kāi)（公告）號(hào): CN113103230A
• 公開(kāi)（公告）日: 2021-07-13
• 發(fā)明（設(shè)計(jì)）人: 宋銳;劉偉哲;劉義祥;李鳳鳴;鄭玉坤
• 申請(qǐng)（專(zhuān)利權(quán)）人: 山東大學(xué)
• 主分類(lèi)號(hào): B25J9/16
• 分類(lèi)號(hào): B25J9/16;B25J13/00
• 代理公司: 濟(jì)南圣達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 37221
• 代理人: 張慶騫

1.一種基于處置機(jī)器人遙操作的人機(jī)交互系統(tǒng)，其特征在于，包括主端和從端，所述主端包括主機(jī)及力反饋手控器，所述主機(jī)包括目標(biāo)跟蹤模塊和沉浸式增強(qiáng)現(xiàn)實(shí)模塊，所述從端包括機(jī)械臂及傳感裝置；

所述主機(jī)用于通過(guò)力反饋手控器來(lái)對(duì)機(jī)械臂位姿進(jìn)行遙操作控制；

所述傳感裝置用于采集目標(biāo)的深度信息及二維圖像并傳送至目標(biāo)跟蹤模塊，所述目標(biāo)跟蹤模塊用于將深度信息疊加在二維圖像中以實(shí)時(shí)跟蹤目標(biāo)；

所述傳感裝置還用于獲取機(jī)器人位姿并傳送至沉浸式增強(qiáng)現(xiàn)實(shí)模塊，所述沉浸式增強(qiáng)現(xiàn)實(shí)模塊用于基于機(jī)器人位姿及目標(biāo)跟蹤模塊中的目標(biāo)位置進(jìn)行三維虛擬建模，以對(duì)機(jī)械臂運(yùn)動(dòng)進(jìn)行預(yù)測(cè)性仿真。

2.如權(quán)利要求1所述的基于處置機(jī)器人遙操作的人機(jī)交互系統(tǒng)，其特征在于，所述機(jī)械臂末端還設(shè)置有力傳感器，所述力傳感器用于讓用戶(hù)感知到機(jī)械臂末端的力變化。

3.如權(quán)利要求1所述的基于處置機(jī)器人遙操作的人機(jī)交互系統(tǒng)，其特征在于，所述主機(jī)用于采用空間映射算法來(lái)對(duì)機(jī)械臂位姿進(jìn)行遙操作控制。

4.如權(quán)利要求1所述的基于處置機(jī)器人遙操作的人機(jī)交互系統(tǒng)，其特征在于，所述目標(biāo)跟蹤模塊用于基于KCF算法得到目標(biāo)像素位置以實(shí)時(shí)跟蹤目標(biāo)。

5.如權(quán)利要求1所述的基于處置機(jī)器人遙操作的人機(jī)交互系統(tǒng)，其特征在于，所述傳感裝置還用于檢測(cè)濕度、溫度或氣體信息并傳送至目標(biāo)跟蹤模塊，由目標(biāo)跟蹤模塊疊加在二維圖像中。

6.如權(quán)利要求1所述的基于處置機(jī)器人遙操作的人機(jī)交互系統(tǒng)，其特征在于，所述沉浸式增強(qiáng)現(xiàn)實(shí)模塊用于采用區(qū)域生長(zhǎng)法對(duì)目標(biāo)進(jìn)行點(diǎn)云建模。

7.如權(quán)利要求1所述的基于處置機(jī)器人遙操作的人機(jī)交互系統(tǒng)，其特征在于，所述沉浸式增強(qiáng)現(xiàn)實(shí)模塊用于根據(jù)圖形的仿射不變性原理重建預(yù)定義標(biāo)志物坐標(biāo)到當(dāng)前場(chǎng)景標(biāo)志物坐標(biāo)的位姿變化矩陣，來(lái)完成虛擬信息的跟蹤注冊(cè)。

8.如權(quán)利要求1所述的基于處置機(jī)器人遙操作的人機(jī)交互系統(tǒng)，其特征在于，所述沉浸式增強(qiáng)現(xiàn)實(shí)模塊中構(gòu)建有機(jī)械臂模型，機(jī)械臂模型用于對(duì)力反饋手控器輸入事先進(jìn)行軌跡仿真，并繪制出軌跡。

9.如權(quán)利要求8所述的基于處置機(jī)器人遙操作的人機(jī)交互系統(tǒng)，其特征在于，所述力反饋手控器用于在沉浸式增強(qiáng)現(xiàn)實(shí)模塊確認(rèn)操作無(wú)誤后，再通過(guò)確認(rèn)操作將控制序列發(fā)送至機(jī)械臂。

10.一種如權(quán)利要求1-9中任一項(xiàng)所述的基于處置機(jī)器人遙操作的人機(jī)交互系統(tǒng)的工作方法，其特征在于，包括：

通過(guò)力反饋手控器來(lái)對(duì)機(jī)械臂位姿進(jìn)行遙操作控制；

采集目標(biāo)的深度信息及二維圖像并傳送至目標(biāo)跟蹤模塊，由目標(biāo)跟蹤模塊將深度信息疊加在二維圖像中以實(shí)時(shí)跟蹤目標(biāo)；

獲取機(jī)器人位姿并傳送至沉浸式增強(qiáng)現(xiàn)實(shí)模塊，由沉浸式增強(qiáng)現(xiàn)實(shí)模塊基于機(jī)器人位姿及目標(biāo)跟蹤模塊中的目標(biāo)位置進(jìn)行三維虛擬建模，以對(duì)機(jī)械臂運(yùn)動(dòng)進(jìn)行預(yù)測(cè)性仿真。