[發明專利]一種基于3D傳感器定位技術的人機互動系統及方法

在審

• 申請號: 201611162589.0
• 申請日: 2016-12-15
• 公開（公告）號: CN106814963A
• 公開（公告）日: 2017-06-09
• 發明（設計）人: 戴廣軍;余雷;徐浩楠;黃俊;翁桂榮
• 申請（專利權）人: 蘇州大學
• 主分類號: G06F3/0488
• 分類號: G06F3/0488;G06F3/01;G06F3/0484;G06T3/00;G06T7/80;G06T7/70
• 代理公司: 蘇州創元專利商標事務所有限公司32103
• 代理人: 陶海鋒

技術領域

本發明涉及一種人機互動技術，具體涉及一種可用于任意普通墻面的人機互動系統。

背景技術

人機交互界面作為一個獨立的、重要的研究領域是全世界電腦廠商一直關注的重點，并且它也成為近年來計算機行業眾多商家競爭的又一塊新的領域。計算機技術和人機交互界面技術的發展也同時引導了與其相關的軟硬件技術的發展。上世紀90年代以來，計算機的軟、硬件技術都取得了較快的發展，與此同時，計算機也進入了尋常百姓家，家家都有計算機，這要求了用戶界面在系統設計和軟件開發中有較高的用戶體驗。因此，觸控與體感控制技術也應運而生。毫無疑問，作為虛擬現實技術和動作捕捉技術的一種新形式，體感傳感器的觸控技術在未來有著廣闊的發展前景和應用途徑，這會是傳統的多媒體通信技術的進化和升級，它將不僅僅改變的是交流形式，更改變的是一種傳播理念。它還可以利用新奇的視覺效應和精彩的動感效應將信息傳播與互動用戶放在一起，互動者在感受互動并且操控虛擬畫面的整個過程中很自然地接受了畫面中傳遞出的元素與信息，顯然這種內在吸引力輕而易舉的就能占據用戶的內心，從而是其達到一種互動情感的共鳴。當前，體感控制屬于多通道、多媒介智能人機交互技術階段，在人們漸漸接受計算機和計算機不斷適應人類的一整套交互過程中，體感交互技術有了更加新奇的手段：指尖的微小動作、空氣中振動的聲波等都可以完成信息傳播，實現人與電腦之間的互動。

但是目前體感控制技術一般都是與屏幕（例如拼接屏幕）相聯系的，如果能夠將其擴展到任意普通墻面，實現人與任意墻面的互動，將能使傳播形式更加豐富多彩。

發明內容

本發明的發明目的是提供一種基于3D傳感器定位技術的人機互動系統，通過對使用者的即時動態捕捉，并對使用者的外部動作做出精確感應，實現基于任意墻面的觸控與體感控制。本發明的另一個目的是提供一種基于該系統的人機互動方法。

為達到上述發明目的，本發明采用的技術方案是：一種基于3D傳感器定位技術的人機互動系統，包括控制主機、傳感器、互動平面和控制軟件，所述傳感器為包括紅外線攝像頭和彩色攝影頭的3D傳感器，所述互動平面為普通墻面；設有投影裝置，所述投影裝置照射在所述互動平面上；設有紅外筆，所述紅外筆由使用者操控并照射在所述互動平面上。

一種基于3D傳感器定位技術的人機互動方法，包括下列步驟：

(1) 對3D傳感器進行幾何校準；

(2) 創建互動區域：

將一墻面確定為互動平面，設置投影裝置，使投影圖像投射到所述互動平面上，形成互動桌面，設置3D傳感器，使紅外線攝像頭和彩色攝像頭覆蓋整個互動桌面，所述紅外線攝像頭和彩色攝像頭具有對應的坐標系；進行投影裝置和3D傳感器的幾何映射關系校準，獲得圖像的映射變換矩陣；

(3) 使用者用紅外筆照射互動平面，構成對互動平面的觸摸事件，采用紅外線攝像頭獲取互動平面上的紅外圖像，同時采用彩色攝像頭獲取實際互動畫面，利用步驟(2)獲得的映射變換矩陣，獲得互動操作的紅外筆的坐標位置，并獲取使用者的手勢；

(4) 根據步驟(3)獲得的紅外筆的觸摸操作和/或使用者的手勢，對投影內容進行控制；

(5) 重復步驟(3)、(4)，實現人機互動。

上述技術方案中，步驟(2)中，圖像的映射變換矩陣的獲取方法是：

(a) 構建攝像頭成像模型：

在攝像頭坐標系中，Q(X_c, Y_c, Z_c)為互動面反射點，Q(X_c, Y_c, Z_c)在成像平面上形成一個二維坐標點q(X_u, Y_u)，f為攝像頭焦距，則，；

(b) 構建投影裝置成像模型：

在投影裝置坐標系中，(X_p, Y_p, Z_p)為投影點的三維坐標，(X_g, Y_g)為其在投影平面上的二維投影坐標，為投影裝置焦距；