[發明專利]基于紅外熱成像的3D人體重構方法

有效

• 申請號: 202110304687.8
• 申請日: 2021-03-22
• 公開（公告）號: CN113112583B
• 公開（公告）日: 2023-06-20
• 發明（設計）人: 易詩;李俊杰;張鵬;宋暢;汪子雯
• 申請（專利權）人: 成都理工大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T5/00
• 代理公司: 成都弘毅天承知識產權代理有限公司 51230
• 代理人: 張串串

1.基于紅外熱成像的3D人體重構方法，其特征在于，包括如下步驟：

步驟1、制作紅外人體圖像；

步驟2、對紅外人體圖像進行增強處理，通過改變雙峰高斯分布函數來控制側抑制系數分布，改變圖像灰度來控制對比度；

步驟3、制作紅外人體圖像配準的3D人體模型，將3D人體模型進行SMPL-X參數化，得到人體形態、人體姿態、人體面部參數，將單張紅外人體圖像作為輸入，輸出為人體形態參數、人體姿態參數和人體面部參數組合的多維向量，各模型參數作為真實標簽，配對生成數據集；

步驟4、構建紅外人體圖像的人體特征提取網絡IT-BFNet和人體模型轉換網絡HMTNet，調整紅外人體圖像的人體特征提取網絡IT-BFNet和人體模型轉換網絡HMTNet的輸入輸出接口，構建紅外熱成像3D人體重構網絡，人體特征提取網絡IT-BFNet采用ResNet50作為主干特征提取網絡的基本結構，在基礎結構中加入了紅外人體注意力機制；IT-BFNet包括1層卷積池化層與4個注意力機制殘差層；網絡的輸入大小為512×512×1，首先經過一層1×1的卷積池化層，生成256×256×64的特征圖；接著經過3個注意力殘差單元的注意力殘差層，生成128×128×128的特征圖；接著經過注意力殘差單元數分別為4、6、3的注意力殘差層，分別生成64×64×256、32×32×512、16×16×1024大小的特征圖；將倒數第三層64×64大小的特征圖進行下采樣和16×16大小的特征圖進行上采樣，與32×32大小的特征圖進行拼接，再經過1×1卷積調整通道數量后，進行三維人體模型轉換；網絡基本單元注意力機制殘差基本單元，基本單元的殘差塊包括3層卷積層和1條恒等映射路徑，第一層為卷積核大小1×1的卷積批歸一化激活函數層，第二層為卷積核大小3×3的卷積批歸一化激活函數層，第三層為卷積核大小1×1的卷積批歸一化激活函數層，該3層卷積層用于提取特征，產生特征圖；恒等映射路徑用于調整訓練過程；網絡基本單元注意力機制殘差基本單元的注意力機制的第一層為全局池化層，生成1×1×C的特征數，第二層為1×1的卷積激活函數層，用于降低參數量，第三層為全連接層，第四層為Sigmoid激活函數層，用于生成0-1的權重；人體模型轉換網絡HMTNet的人體特征降維器由1層平均池化層、1層特征圖處理層、3層全連接層、1層PCA編碼層構成；平均池化層用于降低特征圖尺寸；特征圖處理層用于將特征圖展開，得到高維數據；3層全連接層采用非線性函數，將高維數據轉換為中高維數據；PCA編碼成采用主成分分析方法將中高維數據轉換為可描述人體特征的低維數據；人體模型轉換網絡HMTNet的解碼器采用8+1層全連接層構成，前8層全連接層采用Dropout策略增強網絡的泛化能力，最后一層全連接層輸出特定維度的數據，用以重構三維人體模型；最后采用參數化人體模型SMPLX生成三維人體模型；

步驟5、訓練紅外熱成像3D人體重構網絡，獲取重構精度最高的模型；

步驟6、加載重構精度最高的模型，測試紅外熱成像3D人體重構網絡性能；

步驟7、評估紅外熱成像3D人體重構網絡性能。

2.根據權利要求1所述的基于紅外熱成像的3D人體重構方法，其特征在于，步驟1中，采用紅外熱成像儀采集紅外人體圖像，將紅外熱成像儀部署于夜間無光全黑環境下和存在煙霧的環境下，將采集的紅外人體圖像轉化為單通道數字圖像格式。