[發明專利]一種基于二維圖片的人體三維模型重建及參數測量方法

有效

• 申請號: 202110060417.7
• 申請日: 2021-01-18
• 公開（公告）號: CN113379888B
• 公開（公告）日: 2023-08-22
• 發明（設計）人: 常有康;趙宏;張陳鵬;陳志文;王奡隆;張揚;倪志敏;趙凡;黨育;游豪杰;馮宇博;申宋彥
• 申請（專利權）人: 蘭州理工大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/00;G06N3/0464
• 代理公司: 廣州藍晟專利代理事務所(普通合伙) 44452
• 代理人: 欒洋洋

1.一種基于圖片的人體三維重建及參數測量方法，其特征在于，包括步驟S1：將獲取的二維圖片進行人體骨骼關鍵點檢測與關聯，得到關鍵點在二維圖片中的相對位置,S1包括步驟

S11：構建人體骨骼關鍵點關聯卷積神經網絡，將獲取的圖片進行人體骨骼關鍵點關聯，人體骨骼關鍵點關聯是將人體不同關節點進行關聯，關聯的計算公式下：

L₁＝ω₁(F)?????????????????????????(1)

其中，F是由人體骨骼關鍵點關聯卷積神經網絡進行初始化并且微調的特征圖，ω₁是第一階段的人體骨骼關鍵點關聯卷積神經網絡，L₁是從特征圖F得到的特征映射；

S12：從階段t到階段p，將前一階段的預測與原始特征圖F一同輸入人體骨骼關鍵點關聯卷積神經網絡用于生成精確的預測，公式如下：

其中，ω_t是t階段的人體骨骼關鍵點關聯卷積神經網絡，p為人體骨骼關鍵點之間關聯階段的總數；

S13：在p次迭代之后，從最新預測的人體骨骼關鍵點關聯處開始，進行人體骨骼關鍵點的檢測，公式如下：

其中，ρ_t為階段t的人體骨骼關鍵點關聯卷積神經網絡，當t＝p時，ρ_t＝ω_t,n是人體關鍵點檢測階段的數量，重復該過程進行n次迭代，最終得到的S和L是人體骨骼關鍵點和骨骼關鍵點之間的關聯；

S2：根據關鍵點在二維圖片中的相對位置，進行二維圖片到正面法線圖與背面法線圖的轉換；

S3：利用二維圖片、正面法線圖與背面法線圖得到人體三維模型；

S4：將所述人體三維模型導入3d?Max，分割出人體的胸圍、腰圍、臀圍、肩寬的截面，進行模型參數的測量；同時測試多組數據，計算三維模型數據與人體真實數據之間的比例系數；

S5：將測量的三維模型數據乘以比例系數進行修正，得到真實的人體數據。

2.如權利要求1所述的基于圖片的人體三維重建及參數測量方法，其特征在于，步驟S1每個階段包含人體骨骼關鍵點的檢測和骨骼關鍵點關聯兩個分支，每個分支對應不同的損失函數，分別如下：

其中，J表示身體中一共有J個關鍵點，j為第j個關鍵點，C表示身體中共有C個關鍵點之間的關聯，c為第c個關聯，表示深度神經網絡預測輸出的關鍵點，表示深度神經網絡預測輸出關鍵點之間的關聯向量，是真實人體骨骼關鍵點所在的位置，是人體骨骼關鍵點之間的關聯，W是二進制掩碼，當m點不在肢體上時，W(m)的值為0；當m點在肢體上時，W(m)的值為1。

3.如權利要求2所述的基于圖片的人體三維重建及參數測量方法，其特征在于，為了防止梯度消失，每個階段都會加入損失函數，總損失函數為：

其中，p為人體骨骼關鍵點之間關聯階段的總數，n為人體關鍵點檢測階段的數量。

4.如權利要求1所述的基于圖片的人體三維重建及參數測量方法，其特征在于，步驟S3包括步驟：構建人體三維模型重建神經網絡，將獲取的二維圖片與得到的正面法線圖、背面法線圖一起輸入所述人體三維模型重建神經網絡，得到人體三維模型。

5.如權利要求4所述的基于圖片的人體三維重建及參數測量方法，其特征在于，所述人體三維模型重建神經網絡包括：

(1)粗糙網絡層塊，輸入原始圖片下采樣之后512*512大小的圖片，主干網絡輸出的特征分辨率是128*128；以下采樣的圖像I^L作為輸入，同時添加了正面法線圖F^L和背面法線圖B^L，生成模型的幾何信息，公式如下：

f_L(X)＝g_L(Φ_L(x^L,I^L,F^L,B^L),Z)???????????????(8)

其中，g_L表示三維重建網絡中的多層感知機，Φ_L表示人體三維模型重建神經網絡的全卷積神經網絡，x^L是三維點X在I^L圖像中的二維位置，Z為相機的深度值；

(2)細節網絡層塊，以原始圖片I^H的分辨率1024*1024大小作為輸入，并生成與主干部分大小相同的圖片特征，所述細節網絡層采用從粗糙網絡層提取的三維嵌入特征Ω(x)，將正面法線圖F^H和背面法線圖B^H作為輸入，公式如下：

f_H(X)＝g_H(Φ_H(x^H,I^H,f^H,B^H),Ω(X))???????????(9)

其中g_H表示三維重建網絡中的多層感知機，x^H是三維點X在圖像I^H上的二維投影位置，Φ_H對來自高分辨率輸入的圖像特征進行編碼，Φ_H的感受野并不覆蓋整個圖像，但由于其完全卷積結構，網絡用隨機滑動窗口訓練并推斷原始圖像分辨率。