[發明專利]一種基于注意力機制的人體重建方法、模型、裝置

在審

• 申請號: 202111382077.6
• 申請日: 2021-11-22
• 公開（公告）號: CN114067057A
• 公開（公告）日: 2022-02-18
• 發明（設計）人: 方賢勇;汪楷;汪粼波
• 申請（專利權）人: 安徽大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06N3/04;G06N3/08
• 代理公司: 合肥市澤信專利代理事務所(普通合伙) 34144
• 代理人: 潘飛

本發明屬于計算機視覺領域，具體涉及一種基于注意力機制的人體重建方法、模型、裝置。該重建方法包括如下步驟：步驟一：構建一個人體重建網絡模型，所述人體重建網絡模型包括特征提取模塊、注意力模塊、融合模塊、參數推斷模塊和SMPL子模塊；步驟二、獲取多個包含人物的原始圖像，對原始圖像進行預處理進而構成訓練數據集；步驟三、利用上步驟的訓練數據集，通過最小化網絡損失函數對所述人體重建網絡模型進行訓練；步驟四、將待處理的人體圖像經過預處理后輸入到完成訓練的網絡模型中，生成具有特定姿態的人體三維模型。本發明解決了現有方法難以根據存在遮擋的單幅人體圖像，準確重建出具有準確姿勢和形態的三維人體模型的問題。

技術領域

本發明屬于計算機視覺領域，具體涉及一種基于注意力機制的人體重建方法、模型、裝置。

背景技術

虛擬現實技術是一項新興的人工智能技術，并在虛擬試衣、體型動畫和人體運動模擬游戲等場景下得到廣泛應用。這些技術的應用中，利用圖像對人體進行三維建模是一個重要的環節。人體建模屬于計算機視覺和圖形學的核心問題，現有的從圖像中重建人體三維模型的方法主要包括兩類，分別是基于優化的方法和基于回歸的方法。前者通過迭代優化過程將參數化的身體模型擬合到給定的圖像的二維觀察中，重點是利用二維關節點位置和輪廓實現擬合和建模過程。后者則主要是構建一個深度學習網絡，并在深度神經網絡通過對輸入的單幅圖像進行特征提取，進而獲取人體模型參數，三維人體的體積表示以及模型頂點等信息；利用上述信息生成三維的人體模型。

前文提到的兩類方法在圖像中的目標人物沒有遮擋物或者遮擋情況不明顯的情況下，均具有較好的模型重建效果。但是在實際應用中，圖像中的目標人物被其他人或物遮擋是非常常見的；因此上述方法的應用均存在局限性。尤其是采用深度學習網絡進行三維模型重建時，深度神經網絡無法有效區別人體圖像中的關鍵信息和冗余信息，而是以人體圖像中的所有像素特征來預測三維模型的參數。因而會出現明顯誤差，遮擋物會對實際的三維人體模型產生嚴重的干擾，導致構建出來的三維模型中的人體姿勢和形狀與實際不符。

發明內容

為了解決現有人體三維模型重建方法難以根據存在遮擋的單幅人體圖像，準確重建出具有準確姿勢和形態的三維人體模型的問題，提供一種基于注意力機制的人體重建方法、模型、裝置。

本發明采用以下技術方案實現：

一種基于注意力機制的人體重建方法，該人體重建方法包括如下步驟：

步驟一：構建一個人體重建網絡模型，人體重建網絡模型包括特征提取模塊、注意力模塊、融合模塊、參數推斷模塊和SMPL子模塊。特征提取模塊用于根據輸入的人體圖像生成相應的原始特征圖。注意力模塊包括兩個池化層、一個卷積層和一個Sigmoid操作層；兩個池化層分別為平均池化層和最大池化層。注意力模塊用于根據輸入的原始特征圖生成注意力圖。融合模塊用于將原始特征圖和注意力圖進行融合操作，得到身體注意力特征圖。參數推斷模塊包含一個池化層和三個全連接層；參數推斷模塊用于根據輸入的身體注意力特征圖，生成人體圖像中對應的目標人物的SMPL參數。SMPL子模塊用于根據SMPL參數生成對應目標人物的三維人體模型。

步驟二、獲取多個包含目標人物的人體圖像作為原始圖像，對原始圖像進行預處理進而構成訓練數據集，訓練數據集中的原始圖像至少包括部分存在人物遮擋的人體圖像。

步驟三、利用上步驟的訓練數據集，通過最小化網絡損失函數對人體重建網絡模型進行訓練。

步驟四、保存完成訓練的人體重建網絡模型；將待處理的人體圖像經過預處理后輸入到保存的網絡模型中，生成具有特定姿態的人體三維模型。

作為本發明進一步地改進，特征提取模塊由深度卷積神經網絡Resnet50經過精簡和再封裝得到，精簡過程僅保留了原網絡模型中的卷積部分；輸入的人體圖像經特征提取模塊的卷積處理后，得到原始特征圖。