[發明專利]一種基于Kinect體感設備的多視點自由立體交互系統

在審

• 申請號: 201310323324.4
• 申請日: 2013-07-30
• 公開（公告）號: CN103440677A
• 公開（公告）日: 2013-12-11
• 發明（設計）人: 王瓊華;李述利;張杰;劉軍;鄧歡
• 申請（專利權）人: 四川大學
• 主分類號: G06T15/00
• 分類號: G06T15/00;G06T1/20;G06F3/01
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于Kinect體感設備的多視點自由立體交互系統，其特征在于，該系統包括Kinect體感設備、計算機和多視點自由立體顯示器；

所述Kinect體感設備用于獲取用戶的骨骼信息，并將所述骨骼信息傳送至計算機；

所述計算機用于根據所述Kinect體感設備反饋的骨骼信息判斷用戶做出的肢體動作，并轉換為與3D虛擬場景交互的控制響應命令，計算機的顯卡核心GPU（圖形處理器）用于實時渲染3D虛擬場景而得到多幅視差圖像，并利用GPU并行處理數據的能力快速生成合成圖像；

所述多視點自由立體顯示器用于顯示生成的合成圖像，使用戶觀看到3D虛擬場景的立體畫面。

2.如權利要求1所述的一種基于Kinect體感設備的多視點自由立體交互系統，其特征在于其實現包括以下四個步驟：

步驟1：根據Kinect體感設備反饋的骨骼數據流中的追蹤狀態判斷是否有用戶被追蹤到，如果有則從中提取用戶的骨骼數據，并采用平滑算法平衡化骨骼數據中的不規則點，否則退出本次追蹤；

步驟2：建立與人體常用肢體動作相關的模板庫，每個模板對應于一個肢體動作，且每個模板與人體骨骼點在骨骼坐標系中x，y，z軸上坐標值的變化軌跡、變化范圍及持續時間相關，即模板與肢體動作存在時間域與空間域的對應關系，由步驟1所述平滑處理后的骨骼數據中提取用戶某個骨骼點在骨骼坐標系中x，y，z軸上的值及其當前時間值，當用戶做出一個與該骨骼點相關的肢體動作時，并利用匹配算法判斷該動作是否與模板庫中某個模板相匹配，若匹配成功，則執行與該模板對應的控制響應命令；

步驟3：建立與步驟2所述模板庫中各模板相對應的命令響應函數，每個命令響應函數均與3D虛擬場景的切換或世界坐標變換相關，將所述命令響應函數應用于3D虛擬場景，達到與3D虛擬場景交互的目的；

步驟4：采用3D虛擬攝像機對3D虛擬場景進行渲染而獲取多幅視差圖像，為充分利用GPU并行處理數據的能力，采用Pixel?Shader（像素著色器）完成多次渲染疊加過程，即對視差圖像進行調制，再由調制后的視差圖像生成合成圖像，最終，將合成圖像輸出至多視點自由立體顯示器上實時顯示。