[發(fā)明專利]一種基于3D傳感器定位技術的人機互動系統(tǒng)及方法

在審

• 申請?zhí)枺?/td>: 201611162589.0
• 申請日: 2016-12-15
• 公開（公告）號: CN106814963A
• 公開（公告）日: 2017-06-09
• 發(fā)明（設計）人: 戴廣軍;余雷;徐浩楠;黃俊;翁桂榮
• 申請（專利權）人: 蘇州大學
• 主分類號: G06F3/0488
• 分類號: G06F3/0488;G06F3/01;G06F3/0484;G06T3/00;G06T7/80;G06T7/70
• 代理公司: 蘇州創(chuàng)元專利商標事務所有限公司32103
• 代理人: 陶海鋒

1.一種基于3D傳感器定位技術的人機互動系統(tǒng)，包括控制主機、傳感器、互動平面和控制軟件，其特征在于：所述傳感器為包括紅外線攝像頭和彩色攝影頭的3D傳感器，所述互動平面為普通墻面；設有投影裝置，所述投影裝置照射在所述互動平面上；設有紅外筆，所述紅外筆由使用者操控并照射在所述互動平面上。

2.一種基于3D傳感器定位技術的人機互動方法，其特征在于，包括下列步驟：

(1) 對3D傳感器進行幾何校準；

(2) 創(chuàng)建互動區(qū)域：

將一墻面確定為互動平面，設置投影裝置，使投影圖像投射到所述互動平面上，形成互動桌面，設置3D傳感器，使紅外線攝像頭和彩色攝像頭覆蓋整個互動桌面，所述紅外線攝像頭和彩色攝像頭具有對應的坐標系；進行投影裝置和3D傳感器的幾何映射關系校準，獲得圖像的映射變換矩陣；

(3) 使用者用紅外筆照射互動平面，構成對互動平面的觸摸事件，采用紅外線攝像頭獲取互動平面上的紅外圖像，同時采用彩色攝像頭獲取實際互動畫面，利用步驟(2)獲得的映射變換矩陣，獲得互動操作的紅外筆的坐標位置，并獲取使用者的手勢；

(4) 根據(jù)步驟(3)獲得的紅外筆的觸摸操作和/或使用者的手勢，對投影內容進行控制；

(5) 重復步驟(3)、(4)，實現(xiàn)人機互動。

3.根據(jù)權利要求2所述的基于3D傳感器定位技術的人機互動方法，其特征在于：步驟(2)中，圖像的映射變換矩陣的獲取方法是：

(a) 構建攝像頭成像模型：

在攝像頭坐標系中，Q(X_c, Y_c, Z_c)為互動面反射點，Q(X_c, Y_c, Z_c)在成像平面上形成一個二維坐標點q(X_u, Y_u)，f為攝像頭焦距，則，；

(b) 構建投影裝置成像模型：

在投影裝置坐標系中，(X_p, Y_p, Z_p)為投影點的三維坐標，(X_g, Y_g)為其在投影平面上的二維投影坐標，為投影裝置焦距；

(c) 利用空間坐標系平移旋轉得到坐標變換表達式，通過仿射變換，在確定三個特征點的基礎上，得到圖像的映射變換矩陣。