[發明專利]基于多感知數據融合的人機自然交互系統

有效

• 申請號: 201710646851.7
• 申請日: 2017-08-01
• 公開（公告）號: CN107632699B
• 公開（公告）日: 2019-10-11
• 發明（設計）人: 宋愛國;張慧;余玉卿;秦歡歡;李會軍;徐寶國
• 申請（專利權）人: 東南大學
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 柏尚春

本發明公開了一種基于多感知數據融合的人機自然交互系統，包括MEMS手臂跟蹤裝置、視覺跟蹤裝置，以及安裝在操作者的手掌上的力反饋裝置，上述各裝置由PC終端控制，PC終端包括手臂運動解算模塊、圖像處理模塊、力學解算模塊和虛擬場景渲染模塊；虛擬場景渲染模塊根據手臂運動軌跡和手指運動軌跡生成虛擬手臂和手指，力學解算模塊根據虛擬手指與虛擬物體的碰觸信息，計算操作者當前狀態下應得到的期望反饋力矢量；本發明可滿足手臂大范圍運動情況下的手臂運動軌跡的跟蹤要求；其次，可通過圖像信息測量操作者手指的運動軌跡，可精確測量手指上多個關節的角度；再者，可為操作者提供力反饋和虛擬場景的視覺反饋，增強系統的臨場感、交互性。

技術領域

本發明涉及人機自然交互系統，尤其涉及一種基于多感知數據融合的人機自然交互系統。

背景技術

自從計算機發明以后，各種人機交互設備應運而生。從字符、鍵盤到鼠標的發明，再到多媒體交互設備、語音識別技術、腦電檢測技術的出現，人機交互手段不斷創新，越來越趨于自然化、智能化。

然而，人體的運動涉及很多部位，包括人整個身體的運動或某個部位的運動，如手部運動、腿部運動或者頭部運動，甚至人的表情、手勢等。這些運動分別具有自己的特點和不同的復雜度，所用的識別手段以及研究方法也都不同。對于傳統的人機交互設備，它們盡管在某些方面性能優越，但也各有局限性。如：基于視覺信息的人機交互設備雖然可以實現較高精度的非接觸式交互，但其算法復雜的也較高，計算量大，實時性較差；基于MEMS傳感器的人機自然交互系統探測實時性較強，但傳感器必須與操作者接觸安裝，不利于安裝在關節密集的部位；基于超聲波定位的人機交互設備探測距離較遠，但容易受到障礙物影響，抗干擾性差。

發明內容

發明目的：為了解決現有技術存在的問題，本發明的目的是提供一種可有效提高人機交互效率、增強操作者的臨場感的基于多感知數據融合的人機自然交互系統。

技術方案：一種基于多感知數據融合的人機自然交互系統，包括用于采集手臂關節角信息和手臂運動軌跡的MEMS手臂跟蹤裝置、用于采集圖像信息和手指的運動軌跡的視覺跟蹤裝置，以及安裝在操作者的手掌上的用于給手指提供力反饋力的反饋裝置，上述各裝置由PC終端控制，所述PC終端包括手臂運動解算模塊、圖像處理模塊、力學解算模塊和虛擬場景渲染模塊；其中，MEMS手臂跟蹤裝置與手臂運動解算模塊連接，視覺跟蹤裝置與圖像處理模塊連接，力學解算模塊與手臂運動解算模塊連接；所述虛擬場景渲染模塊根據計算出的手臂運動軌跡和手指運動軌跡生成虛擬手臂和虛擬手指，所述力學解算模塊根據虛擬手指與虛擬物體的碰觸信息，計算操作者當前狀態下應得到的期望反饋力矢量，并將力反饋數據發送至力反饋裝置。

優選的，所述MEMS手臂跟蹤裝置包括三個分別用于測量肩、肘、腕三個關節的歐拉角的MEMS傳感器；所述視覺跟蹤裝置為雙目攝像頭；所述力反饋裝置包括直流電機、力傳感器和機械手柄。

所述碰觸信息包括碰觸方式、速度、角度、力度和紋理反饋中的一種或多種。

所述PC終端還包括用于顯示測量參數的數據顯示模塊。

工作原理：操作者手臂運動時，本發明采集其手臂各個關節的歐拉角，以及操作者手部的圖像，將數據發送至PC終端；PC終端根據歐拉角和虛擬手臂的大臂、小臂和手掌的尺寸解算出手掌末端的運動軌跡，根據手部圖像解算出手指的運動軌跡；最終，操作者手臂和手指各個關節的運動被并映射到虛擬手臂上，使虛擬手臂做出相應的動作。因此，操作者可以與虛擬場景中的物體進行交互，PC終端的力學解算模塊可根據實時交互信息計算力反饋數據并發送到力反饋模塊，為用戶提供力反饋。

有益效果：與現有技術相比，本發明具有如下顯著優勢：首先，本發明可滿足手臂大范圍運動情況下的手臂運動軌跡的跟蹤要求；其次，本發明可通過圖像信息測量操作者手指的運動軌跡，可精確測量手指上多個關節的角度；再者，本發明可為操作者提供力反饋，增強系統的臨場感、交互性。

附圖說明