[發明專利]一種基于Kinect體感設備的多視點自由立體交互系統

在審

• 申請號: 201310323324.4
• 申請日: 2013-07-30
• 公開（公告）號: CN103440677A
• 公開（公告）日: 2013-12-11
• 發明（設計）人: 王瓊華;李述利;張杰;劉軍;鄧歡
• 申請（專利權）人: 四川大學
• 主分類號: G06T15/00
• 分類號: G06T15/00;G06T1/20;G06F3/01
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及虛擬現實3D（三維）交互技術，更具體地說，本發明涉及基于Kinect體感設備的多視點自由立體交互技術。

背景技術

虛擬現實交互技術是新興的一種綜合集成技術，人們可利用計算機來虛構一個3D世界，并與虛擬的3D世界產生交互作用。目前許多虛擬現實交互系統都采用助視3D顯示器顯示3D虛擬世界，但佩戴助視設備給用戶帶來不便。傳統的硬件交互設備包含了目前常見的鼠標和鍵盤，也包含了各種數據手套、操縱桿和捕捉器等等。用戶可以通過這些設備與虛擬的3D世界進行交互。然而傳統的交互設備的交互方式略顯單一，且當用戶需要手持或觸摸交互設備時，交互體驗有所降低，特別地，當用戶需完成較復雜的肢體動作時，傳統的交互設備難免成為累贅。

近年來，體感交互技術蓬勃發展，漸漸走進人們的生活。Kinect體感設備的傳感深度范圍在0.8米到4.0米之間，而自由立體顯示器的最佳觀看距離一般在2米左右，兩者之間的適應距離范圍存在匹配關系。通過Kinect體感設備，用戶可以在不手持或觸摸任何設備的情況下，將肢體動作轉化為與計算機進行溝通的“語言”，自然地實現人與機器之間的交互。通過自由立體顯示器，用戶可以無須佩戴助視設備便可觀看到立體畫面。

發明內容

本發明提出一種基于Kinect體感設備的多視點自由立體交互系統。如附圖1所示，該系統包括Kinect體感設備、計算機和多視點自由立體顯示器。

所述Kinect體感設備用于獲取用戶的骨骼信息，并將所述骨骼信息傳送至計算機。

所述計算機用于根據所述Kinect體感設備反饋的骨骼信息判斷用戶做出的肢體動作，并轉換為與3D虛擬場景交互的控制響應命令，計算機的顯卡核心GPU（圖形處理器）用于實時渲染3D虛擬場景而得到多幅視差圖像，并利用GPU并行處理數據的能力快速生成合成圖像。

所述多視點自由立體顯示器用于顯示生成的合成圖像，使用戶觀看到3D虛擬場景的立體畫面。

本發明基于Kinect體感設備的多視點自由立體交互系統，其特征也在于其實現包括以下四個步驟：

步驟1：如附圖2所示，根據Kinect體感設備反饋的骨骼數據流中的追蹤狀態判斷是否有用戶被追蹤到，如果有則從中提取用戶的骨骼數據，并采用平滑算法平衡化骨骼數據中的不規則點，否則退出本次追蹤。

步驟2：建立與人體常用肢體動作相關的模板庫，每個模板對應于一個肢體動作，且每個模板與人體骨骼點在骨骼坐標系中x，y，z軸上坐標值的變化軌跡、變化范圍及持續時間相關，即模板與肢體動作存在時間域與空間域的對應關系。由步驟1所述平滑處理后的骨骼數據中提取用戶某個骨骼點在骨骼坐標系中x，y，z軸上的值及其當前時間值。當用戶做出一個與該骨骼點相關的肢體動作時，并利用匹配算法判斷該動作是否與模板庫中某個模板相匹配，若匹配成功，則執行與該模板對應的控制響應命令。

步驟3：建立與步驟2所述模板庫中各模板相對應的命令響應函數，每個命令響應函數均與3D虛擬場景的切換或世界坐標變換相關。將所述命令響應函數應用于3D虛擬場景，達到與3D虛擬場景交互的目的。

步驟4：如附圖3所示，采用3D虛擬攝像機對3D虛擬場景進行渲染而獲取多幅視差圖像，為充分利用GPU并行處理數據的能力，采用Pixel?Shader（像素著色器）完成多次渲染疊加過程，即對視差圖像進行調制，再由調制后的視差圖像生成合成圖像，最終，將合成圖像輸出至多視點自由立體顯示器上實時顯示。

本發明提出的基于Kinect體感設備的多視點自由立體交互系統，利用Kinect體感設備獲取用戶的骨骼數據，用戶直接通過肢體動作控制多視點自由立體顯示器中的3D虛擬場景，且實時觀看由自己控制的立體畫面。該系統提高了觀看者與多視點自由立體顯示系統的交互體驗，解決了傳統交互方式中用戶手持或觸摸交互設備而帶來的不便。

附圖說明

附圖1為本發明提出的基于Kinect體感設備的多視點自由立體交互系統示意圖。

附圖2為體感設備獲取骨骼數據流程示意圖。

附圖3為實時渲染3D虛擬場景并生成合成圖像示意圖。

上述附圖中的圖示標號為：

1觀看者，2?Kinect體感設備，3計算機，4多視點自由立體顯示器，5?3D物體，6?3D虛擬攝像機，7視差圖像，8調制后的視差圖像，9合成圖像。

應該理解上述附圖只是示意性的，并沒有按比例繪制。