[發明專利]確定頭部姿態的方法、裝置、存儲介質和終端設備

有效

• 申請號: 201811046285.7
• 申請日: 2018-09-07
• 公開（公告）號: CN109255329B
• 公開（公告）日: 2020-04-21
• 發明（設計）人: 趙彤彤;燕飛龍;王亮;馬彧
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京市鑄成律師事務所 11313
• 代理人: 陳建煥;楊瑾瑾

1.一種確定頭部姿態的方法，其特征在于，包括：

從臉部圖像中獲取形成臉部的剛性點云數據；

跟蹤所述臉部圖像的初始圖片序列，獲得頭部姿態的粒子濾波估計值；其中，所述粒子濾波估計值用于估計所述頭部姿態；所述初始圖片序列包括拍攝臉部圖像之前的第一幀或連續幾幀的圖片序列；

根據所述粒子濾波估計值，從預先劃分的各視線區域中確定所述頭部姿態所朝向的視線區域；以及

基于所述頭部姿態所朝向的視線區域和所述粒子濾波估計值，對所述剛性點云數據進行迭代計算，獲得所述頭部姿態，包括：根據所述粒子濾波估計值，計算初始轉換矩陣；其中，所述轉換矩陣用于衡量所述頭部姿態的角度；獲取所述頭部姿態所朝向的視線區域以及相鄰視線區域的頭部姿態模板；基于所述初始轉換矩陣，計算各所述頭部姿態模板對應的最優轉換矩陣；其中，所述最優轉換矩陣能使所述頭部姿態模板與所述剛性點云數據的兩個點集之間的誤差最小；以及對各所述最優轉換矩陣進行加權并求均值，獲得所述頭部姿態的角度。

2.如權利要求1所述的方法，其特征在于，所述臉部圖像包括深度圖像和彩色圖像；以及所述從臉部圖像中獲取形成臉部的剛性點云數據，包括：

從所述深度圖像中提取前景區域；

判斷所述前景區域是否包括人體臉部；

當所述前景區域包括人體臉部時，在所述深度圖像中定位所述人體臉部的位置；以及

利用主動外觀模型，從所述人體臉部在所述彩色圖像中的位置提取臉部區域的剛性點云數據；其中，所述剛性點云數據用于描述所述人體臉部為標準表情時所述臉部區域的特征。

3.如權利要求1所述的方法，其特征在于，根據所述粒子濾波估計值，從預先劃分的各視線區域中確定所述頭部姿態所朝向的視線區域，包括：

獲取預設劃分的各視線區域對應的頭部姿態模板；

測量各所述頭部姿態模板中的各點與所述粒子濾波估計值的距離，并確定各視線區域的距離概率分布；以及

根據各視線區域的距離概率分布，確定所述頭部姿態所朝向的視線區域。

4.如權利要求1所述的方法，其特征在于，基于所述初始轉換矩陣，利用計算各所述頭部姿態模板對應的最優轉換矩陣，包括：

對于剛性點云矩陣中的各點，確定屬于模板矩陣且與該點最近的點；其中，初始剛性點云矩陣表示所述剛性點云數據，所述模板矩陣表示所述頭部姿態模板；

計算最優轉換矩陣，使所述剛性點云矩陣的各點與對應在所述模板矩陣的最近點的誤差函數結果最小化；

如果所述誤差函數結果大于預設的誤差閾值，則根據所述最優轉換矩陣和所述模板矩陣，更新所述剛性點云矩陣，并返回重新計算最優轉換矩陣；以及

如果所述誤差函數結果小于預設的誤差閾值，則輸出當前計算的最優轉換矩陣；其中，第一次計算最優轉換矩陣基于所述初始轉換矩陣。

5.如權利要求4所述的方法，其特征在于，對于剛性點云矩陣中的各點，確定屬于模板矩陣且與該點最近的點的計算公式，包括：

其中，P^m表示所述模板矩陣，p_j表示所述模板矩陣中的第j個點；Q為所述剛性點云矩陣，q_i表示所述剛性點云矩陣中的第i個點；NNSP表示最近鄰域搜索點的算法。

6.如權利要求5所述的方法，其特征在于，計算最優轉換矩陣，使所述剛性點云矩陣的各點與對應在所述模板矩陣的最近點的誤差函數結果最小化所采用的計算公式，包括：

其中，表示最優轉換矩陣；(R,t)表示前一次計算的最優轉換矩陣。

7.如權利要求6所述的方法，其特征在于，根據所述最優轉換矩陣和所述模板矩陣，更新所述剛性點云矩陣的計算公式，包括：