[發明專利]基于多感知數據融合的人機自然交互系統

有效

• 申請號: 201710646851.7
• 申請日: 2017-08-01
• 公開（公告）號: CN107632699B
• 公開（公告）日: 2019-10-11
• 發明（設計）人: 宋愛國;張慧;余玉卿;秦歡歡;李會軍;徐寶國
• 申請（專利權）人: 東南大學
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 柏尚春

1.一種基于多感知數據融合的人機自然交互系統，其特征在于：包括用于采集手臂關節角信息和手臂運動軌跡的MEMS手臂跟蹤裝置、用于采集圖像信息和手指的運動軌跡的視覺跟蹤裝置，以及安裝在操作者的手掌上的用于給手指提供反饋力的力反饋裝置，上述各裝置由PC終端控制，所述PC終端包括手臂運動解算模塊、圖像處理模塊、力學解算模塊和虛擬場景渲染模塊；其中，MEMS手臂跟蹤裝置與手臂運動解算模塊連接，視覺跟蹤裝置與圖像處理模塊連接，力學解算模塊與手臂運動解算模塊連接；所述虛擬場景渲染模塊根據手臂運動軌跡和手指運動軌跡生成虛擬手臂和虛擬手指，力學解算模塊根據虛擬手指與虛擬物體的碰觸信息，計算操作者當前狀態下應得到的期望反饋力矢量，并將期望反饋力矢量發送至力反饋裝置。

2.根據權利要求1所述的基于多感知數據融合的人機自然交互系統，其特征在于：所述MEMS手臂跟蹤裝置包括三個分別用于測量肩、肘、腕三個關節的歐拉角的MEMS傳感器。

3.根據權利要求1所述的基于多感知數據融合的人機自然交互系統，其特征在于：所述視覺跟蹤裝置為雙目攝像頭。

4.根據權利要求1所述的基于多感知數據融合的人機自然交互系統，其特征在于：所述力反饋裝置包括直流電機、力傳感器和機械手柄。

5.根據權利要求1所述的基于多感知數據融合的人機自然交互系統，其特征在于：所述碰觸信息包括碰觸方式、速度、角度、力度和紋理信息中的一種或多種。

6.根據權利要求1所述的基于多感知數據融合的人機自然交互系統，其特征在于：所述PC終端還包括用于顯示測量參數的數據顯示模塊。