[發明專利]一種三維手勢運動重建方法和系統

有效

• 申請號: 201110235370.X
• 申請日: 2011-08-16
• 公開（公告）號: CN102262783A
• 公開（公告）日: 2011-11-30
• 發明（設計）人: 劉燁斌;王雁剛;戴瓊海
• 申請（專利權）人: 清華大學
• 主分類號: G06T7/00
• 分類號: G06T7/00
• 代理公司: 北京聿宏知識產權代理有限公司 11372
• 代理人: 吳大建;劉華聯

1.一種三維手勢運動重建方法，其特征在于，包括以下步驟：

步驟1，對采集的手勢圖像序列的第一幀圖像按照給定的參考圖像進行區域分割；

步驟2，生成所述第一幀圖像的各分割區域的仿射變換矩陣；

步驟3，生成三維至二維投影系數，根據所述投影系數和所述的仿射變換矩陣，得出與所述第一幀圖像對應的三維手勢模型；

步驟4，對得到的與所述第一幀圖像對應的三維手勢模型，確定其骨架節點和所述骨架節點的自由度；

步驟5，針對所述手勢圖像序列中的后續各幀圖像，基于與前一幀圖像對應的三維手勢模型的骨架節點和所述自由度，結合當前幀圖像進行模擬退火粒子濾波運算，得出當前幀圖像的三維手勢模型，將與所述手勢圖像序列中各幀圖像對應的三維手勢模型作為所述手勢圖像序列的三維手勢重建結果。

2.根據權利要求1所述的重建方法，其特征在于，所述手勢圖像序列的第一幀圖像為無自遮擋和外部遮擋的張開的手的圖像，并且手指朝上，手掌或手背面對鏡頭，手可前后、上下、左右、小角度傾斜。

3.根據權利要求1所述的重建方法，其特征在于，在所述步驟1中，按照手的不同部位進行區域劃分并分配不同的顏色，對不同區域生成不同的仿射變換矩陣。

4.根據權利要求1的重建方法，其特征在于，在步驟3中，通過所述仿射變換矩陣得到所述第一幀圖像的二維投影圖像，再通過所述投影系數得將所述二維投影圖像投影到三維空間中得到三維手勢模型，通過預定次數的迭代操作來得出所述第一幀圖像對應的三維手勢模型。

5.根據權利要求1至4任一項所述的重建方法，其特征在于，對所述骨架節點設定約束條件，所述約束條件用于限定所述骨架節點的自由度的角度范圍。

6.根據權利要求1至4任一項所述的重建方法，其特征在于，在所述模擬退火粒子濾波運算中，粒子為對應三維手勢模型的多維向量，對每一個當前幀圖像，對應的初始粒子的數值為前一幀圖像的三維手勢模型對應的多維向量的數值，并對每一個維度賦予0.1的方差；

與第一幀圖像相應的初始粒子為每一個維度均為0的多維向量；

根據方差和初始粒子得到預定數量的多個粒子，對所述多個粒子基于前一幀圖像的三維手勢模型和當前幀圖像，通過優化目標函數并進行迭代操作得出預定數量的多個相近的粒子，將多個相近的粒子的均值作為當前幀圖像的三維手勢模型。

7.根據權利要求6所述的重建方法，其特征在于，在所述模擬退火粒子濾波運算中，基于前一幀圖像的三維手勢模型和當前幀圖像來計算多個粒子的權值，并根據所述權值進行多項式采樣，舍棄權值較低的粒子，根據方差和剩下的粒子重新得出預定數量的一組新的粒子，通過迭代操作使算法收斂，得出預定數量的多個相近的粒子，將多個相近的粒子的均值作為當前幀的三維手勢模型。

8.根據權利要求1至4任一項所述的重建方法，其特征在于，在區域分割步驟之前，還包括對采集的圖像進行背景去除的步驟。

9.根據權利要求1所述的重建方法，其特征在于，通過多個成像系統從不同的角度采集手勢圖像序列，對每個角度采集的手勢圖像序列分別按照步驟1至步驟5進行手勢重建。

10.一種三維手勢運動重建系統，其特征在于，包括以下單元：

區域分割單元，其對采集的手勢圖像序列的第一幀圖像按照給定的參考圖像進行區域分割；

仿射變換矩陣生成單元，其生成所述第一幀圖像的各分割區域的仿射變換矩陣；

初始模型生成單元，其生成三維至二維投影系數，根據所述投影系數和所述的仿射變換矩陣，得出與所述第一幀圖像對應的三維手勢模型；

骨架節點確定單元，其對得到的與所述第一幀圖像對應的三維手勢模型，確定其骨架節點和所述骨架節點的自由度；

模型重建單元，其針對所述手勢圖像序列中的后續各幀圖像，基于與前一幀圖像對應的三維手勢模型的骨架節點和所述自由度，結合當前幀圖像進行模擬退火粒子濾波運算，得出當前幀圖像的三維手勢模型，將與所述手勢圖像序列中各幀圖像對應的三維手勢模型作為所述手勢圖像序列的三維手勢重建結果。