[發明專利]一種從深度圖像中獲取手部三維參數化模型的方法

有效

• 申請號: 202110595988.0
• 申請日: 2021-05-29
• 公開（公告）號: CN113205605B
• 公開（公告）日: 2022-04-19
• 發明（設計）人: 耿衛東;梁秀波;厲向東;金文光;戴青鋒;劉帥;姬源智;周洲;韓晨晨;毋從周;朱俊威
• 申請（專利權）人: 浙江大學
• 主分類號: G06T17/20
• 分類號: G06T17/20;G06T7/73
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 劉靜

本發明公開了一種從深度圖像中獲取手部三維參數化模型的方法，步驟如下：獲取深度圖像序列和深度相機內參；利用手部的深度圖像序列和對應的深度相機參數，重建粗略的手部的三維點云；人工去除粗略的手部三維點云中的非手部點云與噪聲點云，得到精細的手部三維點云；通過對精細的手部三維點云三階段的迭代優化，獲取用戶個性化的手部三維參數化模型。本方法通過深度圖像序列即可獲得用戶個性化的手部三維參數化模型。由于用戶個性化的手部三維參數化模型相比傳統無模型或通用手部模型提供了更多基于用戶的先驗信息，因此本發明可以在進行手勢姿態估計時具有更高的精度和適配性，在人機交互，康復醫療等具體場景下具有應用前景。

技術領域

本發明屬于計算機視覺領域，尤其涉及一種從深度圖像中獲取手部三維參數化模型的方法。

背景技術

傳統的基于計算機視覺的無模型手勢姿態估計中經常會遇到遮擋(包括自遮擋)、分辨率低、噪聲等問題，這些問題對最終的姿態估計結果會產生較大影響。相對于傳統的無模型方法，基于手部參數化模型的手勢姿態估計方法給手勢姿態估計任務提供了較強的先驗知識，使之能夠最大限度在有遮擋、低分辨率等條件下提供較為優秀的性能。目前使用最廣泛的手部參數化模型即為MANO模型(hand Model with Articulated and Non-rigiddefOrmations)。MANO模型是Javier Romero等人于2017年公開發表的一種參數化手部模型。根據2018年以來國內外手部姿態估計的相關研究工作表明：使用MANO參數化模型，對于估計出一個合理且準確的手勢姿態，有著至關重要的作用。

MANO模型用一組參數來定義三角化的手部三維網格其中為手部的形狀參數，為手部的姿態參數，代表通過軸角表示的16個手部關節角。具體來說，MANO模型首先由一個平均模版定義，模版中有778個頂點。形狀混合函數以作為輸入，輸出描述手部模型的混合形狀。姿態混合函數以作為輸入，輸出因手部姿態造成的模型變化。形狀混合函數和姿態混合函數的輸出結果和被施加在平均模版為了得到最后的手部三維網格模型通過混合皮膚函數W(·)，對每一個手指部分的頂點根據混合權重計算旋轉量，對每個關鍵點進行旋轉操作。

對于特定模型的形狀混合參數B_S，其本身是通過主成分分析從一組平放動作手型的形狀空間中提取出主成分向量S_n的線性組合。主成分向量依次乘以線性系數并累加即可以得到個人定制化的手部形狀混合參數B_S，對應的線性系數即為形狀參數

發明內容

本發明的目的在于針對獲取手部參數化模型的需求，提供一種從深度圖像中獲取手部三維參數化模型的方法。

本發明的目的是通過以下技術方案來實現的：一種從深度圖像中獲取手部三維參數化模型的方法，該方法包括以下步驟：

(1)獲取深度圖像序列和深度相機內參，包括以下子步驟：

(1.1)使用結構光深度相機拍攝用戶平放于平整桌面的雙手，得到手部深度圖像序列；

(1.2)讀取深度相機的相機內參，包括焦距和中心點偏移；

(2)由步驟(1)得到的手部深度圖像序列和對應的深度相機內參，重建粗略的手部三維點云，包括以下子步驟：

(2.1)根據第一幀深度圖像和深度相機內參獲得三維點云，并將第一幀的相機坐標系作為世界坐標系構建三維網格模型，對于之后的深度圖像序列，執行步驟(2.2)；

(2.2)根據單幀深度圖像和相機內參獲得三維點云并計算點云中每一點的法向量；

(2.3)將當前幀的三維點云和通過光線投影根據上一幀相機位姿從三維網格模型投影得到的點云進行配準，計算當前幀的相機位姿；