[發明專利]生成跟蹤姿態結果的方法

有效

• 申請號: 201911197449.0
• 申請日: 2019-11-29
• 公開（公告）號: CN112883757B
• 公開（公告）日: 2023-03-24
• 發明（設計）人: 梁曉輝;徐方宇
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V40/10;G06T7/11;G06T7/215;G06T7/73
• 代理公司: 北京唯智勤實知識產權代理事務所(普通合伙) 11557
• 代理人: 陳佳

1.一種用于生成跟蹤姿態結果的方法，包括：

根據圖像中腕帶標記物的顏色特征和手部上臂形態特征，將深度圖像中的手部區域進行分割，獲得點云集合；

基于所述點云集合和三維手部模型，確定第一對應點集合和第二對應點集合，其中，所述第一對應點集合包括所述點云集合中各點與三維手部模型表面的對應點，所述第二對應點集合包括三維手部模型與深度圖像的二維輪廓的對應點；

根據所述第一對應點集合和所述第二對應點集合構建約束方程；

根據所述約束方程，生成跟蹤姿態結果；

其中，所述根據圖像中腕帶標記物的顏色特征和手部上臂形態特征，將深度圖像中的手部區域進行分割，包括：

對所述圖像進行過濾，得到手部腕帶標記物區域對應的像素點集合；

確定所述像素點集合內像素點在深度圖像中對應深度值的平均值；

確定深度圖像中深度值與所述平均值的差值小于預定閾值的像素點作為小臂及手部區域像素點，以及獲取所述像素點對應的三維點云點集；

基于所述像素點集合和所述三維點云點集確定分割區域；

將所述三維點云點集和所述像素點集合在所述分割區域中的點作為手部分割結果；

其中，所述基于所述像素點集合和所述三維點云點集確定分割區域包括：

對三維點云點集進行主成分分析以獲取主成分方向作為小臂的朝向向量，確定三維點云點集中的重心作為腕部重心，以腕部重心為起點小臂的朝向向量為偏移方向確定分割區域球心。

2.根據權利要求1所述的方法，其中，所述基于所述點云集合和三維手部模型，確定第一對應點集合和第二對應點集合，包括：

將所述三維手部模型進行正交投影，得到模型輪廓；

在所述模型輪廓上進行采樣，得到輪廓點集合；

對于所述輪廓點集合中的每一個點，確定所述點在所述深度圖像的輪廓中最近的對應點作為第二對應點，得到第二對應點集合。

3.根據權利要求1所述的方法，其中，所述其中，所述約束方程包括以下至少一項：手部跟蹤的空間約束方程、姿態約束方程和時序約束方程。

4.根據權利要求3所述的方法，其中，所述根據所述第一對應點和所述第二對應點構建約束方程，包括：

對于第一對應點集合和點云集合的每一對對應點，確定所述一對對應點的坐標差和三維手部模型中第一對應點位置關于各姿態參數的雅可比矩陣；

根據所述坐標差和所述雅可比矩陣構建空間約束方程。

5.根據權利要求1所述的方法，其中，所述根據所述約束方程，生成跟蹤姿態結果，包括：

將所述約束方程轉化為數學方程形式，其中，所述約束方程轉換為數學方程形式后能夠求解；

對轉換后的約束方程進行求解，得到跟蹤姿態結果。

6.一種用于生成跟蹤姿態結果的裝置，包括：

分割單元，被配置成根據圖像中腕帶標記物的顏色特征和手部上臂形態特征，將深度圖像中的手部區域進行分割，獲得點云集合；

確定單元，被配置成基于所述點云集合和三維手部模型，確定第一對應點集合和第二對應點集合，其中，所述第一對應點集合包括所述點云集合中各點與三維手部模型表面的對應點，所述第二對應點集合包括三維手部模型與深度圖像的二維輪廓的對應點；

構建單元，被配置成根據所述第一對應點集合和所述第二對應點集合構建約束方程；

生成單元，被配置成根據所述約束方程，生成跟蹤姿態結果；

其中，所述分割單元，進一步被配置成：對所述圖像進行過濾，得到手部腕帶標記物區域對應的像素點集合；確定所述像素點集合內像素點在深度圖像中對應深度值的平均值；確定深度圖像中深度值與所述平均值的差值小于預定閾值的像素點作為小臂及手部區域像素點，以及獲取所述像素點對應的三維點云點集；基于所述像素點集合和所述三維點云點集確定分割區域；將所述三維點云點集和所述像素點集合在所述分割區域中的點作為手部分割結果；

其中，所述基于所述像素點集合和所述三維點云點集確定分割區域包括：對三維點云點集進行主成分分析以獲取主成分方向作為小臂的朝向向量，確定三維點云點集中的重心作為腕部重心，以腕部重心為起點小臂的朝向向量為偏移方向確定分割區域球心。