[發明專利]頭部姿態估計方法和裝置

有效

• 申請號: 202010431119.X
• 申請日: 2020-05-20
• 公開（公告）號: CN111695438B
• 公開（公告）日: 2023-08-04
• 發明（設計）人: 戶磊;石芳;劉其開;朱海濤;陳智超
• 申請（專利權）人: 合肥的盧深視科技有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V20/64;G06V40/20;G06V10/774;G06V10/764
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 李文清

本發明實施例提供一種頭部姿態估計方法和裝置，所述頭部姿態估計方法包括：獲取深度圖像數據；將深度圖像數據輸入至頭部姿態估計模型中，得到頭部姿態估計模型輸出的頭部姿態估計結果；其中，頭部姿態估計模型為，以深度圖像樣本數據為樣本，以預先標注或區間劃定的與深度圖像樣本數據一一對應的綜合維度姿態大小角度二分類標簽、單維度姿態多分類標簽以及單維度回歸標簽為樣本標簽進行訓練得到；綜合維度姿態大小角度二分類標簽用于表示綜合多維度頭部姿態的空間特征；單維度姿態多分類標簽和單維度回歸標簽均用于表示單個維度頭部姿態的空間特征。本發明實施例提供的頭部姿態估計方法具有更高精度及泛化能力，使得頭部姿態估計結果更加魯棒。

技術領域

本發明涉及圖像識別技術領域，更具體地，涉及一種頭部姿態估計方法和裝置。

背景技術

隨著計算機視覺技術的發展，在人臉識別、注意力檢測、人機互動以及行為分析等各種場景中需要進行頭部姿態估計。頭部姿態估計是利用計算機視覺及機器學習等方法，通過人臉圖像來推斷頭部在三維空間中旋轉角度的技術。

現有技術中的頭部姿態估計方法大致分為以下三大類：

(1)基于模板匹配的方法主要有二維圖像及三維建模的方法。基于二維圖像的方法主要是將輸入圖像與模板庫中圖像(每個樣本均帶有姿態標簽)一一進行比較，從而匹配得到最為相似的視圖及對應姿態角。基于三維建模的方法是根據某個人的一張或者多張單二維或單三維或多模態人臉圖像重建出其三維人臉模型，將該模型與標準正臉姿態的三維模型進行模板匹配，通過旋轉校正后與標準三維模型完全重合，計算旋轉矩陣參數即可獲得對應姿態角。這種方法的缺陷在于匹配過程的計算復雜度較高，耗時較長，且受人臉檢測及圖像質量的影響較大。

(2)基于模型的方法是利用幾何模型來構建人臉結構或者采用人臉關鍵點來構建人臉模型，從而進一步計算得到人臉圖像特征與幾何模型或人臉模型之間的映射關系，最終估計頭部姿態。這種方法的缺陷在于容易受到關鍵點檢測精度，人臉圖像質量及場景環境的影響，泛化能力較差。

(3)基于分類的方法中比較主流的是流行嵌入方法，流行嵌入方法是將圖像的高維空間特征映射至低維來模擬頭部姿態的連續變化，然后用于嵌入式模板匹配，此類特征降維方法屬于無監督學習，很難確保低維主成分特征與姿態特征高度相關。

發明內容

本發明實施例提供一種克服上述問題或者至少部分地解決上述問題的頭部姿態估計方法和裝置。

第一方面，本發明實施例提供一種頭部姿態估計方法，包括：獲取深度圖像數據；將所述深度圖像數據輸入至頭部姿態估計模型中，得到所述頭部姿態估計模型輸出的頭部姿態估計結果；其中，所述頭部姿態估計模型為，以深度圖像樣本數據為樣本，以預先確定的與所述深度圖像樣本數據對應的綜合維度姿態大小角度二分類標簽、單維度姿態多分類標簽以及單維度回歸標簽為樣本標簽進行訓練得到；所述綜合維度姿態大小角度二分類標簽用于表示綜合多維度頭部姿態的空間特征；所述單維度姿態多分類標簽和所述單維度回歸標簽均用于表示單個維度頭部姿態的空間特征。

在一些實施例中，所述頭部姿態估計模型包括特征提取層、單維度姿態層以及綜合維度姿態層；所述將所述深度圖像數據輸入至頭部姿態估計模型中，得到所述頭部姿態估計模型輸出的頭部姿態估計結果，包括：將所述深度圖像數據輸入至所述特征提取層，得到單維度姿態特征圖和多維度姿態特征圖；將單維度姿態特征圖輸入至所述單維度姿態層，得到單維度姿態多分類信息和單維度回歸信息；將多維度姿態特征圖輸入至所述綜合維度姿態層，得到綜合維度姿態大小角度二分類信息；基于所述單維度姿態多分類信息、所述單維度回歸信息以及所述單維度回歸信息，確定所述頭部姿態估計結果；所述頭部姿態估計模型的確定過程，包括：單維度姿態層為，以所述單維度姿態樣本特征圖為樣本，以預先確定的與所述單維度姿態樣本特征圖對應的單維度姿態多分類標簽以及單維度回歸標簽為樣本標簽進行訓練得到；綜合維度姿態層為，以所述多維度姿態樣本特征圖為樣本，以預先確定的與所述多維度姿態樣本特征圖對應的綜合維度姿態大小角度二分類標簽為樣本標簽進行訓練得到。