[發(fā)明專利]一種基于注意力機(jī)制的人體重建方法、模型、裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202111382077.6
• 申請(qǐng)日: 2021-11-22
• 公開（公告）號(hào): CN114067057A
• 公開（公告）日: 2022-02-18
• 發(fā)明（設(shè)計(jì)）人: 方賢勇;汪楷;汪粼波
• 申請(qǐng)（專利權(quán)）人: 安徽大學(xué)
• 主分類號(hào): G06T17/00
• 分類號(hào): G06T17/00;G06N3/04;G06N3/08
• 代理公司: 合肥市澤信專利代理事務(wù)所(普通合伙) 34144
• 代理人: 潘飛

1.一種基于注意力機(jī)制的人體重建方法，其特征在于，包括如下步驟：

步驟一：構(gòu)建一個(gè)人體重建網(wǎng)絡(luò)模型，所述人體重建網(wǎng)絡(luò)模型包括特征提取模塊、注意力模塊、融合模塊、參數(shù)推斷模塊和SMPL子模塊；所述特征提取模塊用于根據(jù)輸入的人體圖像生成相應(yīng)的原始特征圖；所述注意力模塊包括兩個(gè)池化層、一個(gè)卷積層和一個(gè)Sigmoid操作層；兩個(gè)池化層分別為平均池化層和最大池化層；所述注意力模塊用于根據(jù)輸入的所述原始特征圖生成注意力圖；所述融合模塊用于將所述原始特征圖和所述注意力圖進(jìn)行融合操作，得到身體注意力特征圖；所述參數(shù)推斷模塊包含一個(gè)池化層和三個(gè)全連接層；所述參數(shù)推斷模塊用于根據(jù)輸入的所述身體注意力特征圖，生成所述人體圖像中對(duì)應(yīng)的目標(biāo)人物的SMPL參數(shù)；所述SMPL子模塊用于根據(jù)所述SMPL參數(shù)生成對(duì)應(yīng)目標(biāo)人物的三維人體模型；

步驟二、獲取多個(gè)包含目標(biāo)人物的人體圖像作為原始圖像，對(duì)原始圖像進(jìn)行預(yù)處理進(jìn)而構(gòu)成訓(xùn)練數(shù)據(jù)集，所述訓(xùn)練數(shù)據(jù)集中的原始圖像至少包括部分存在人物遮擋的人體圖像；

步驟三、利用上步驟的訓(xùn)練數(shù)據(jù)集，通過最小化網(wǎng)絡(luò)損失函數(shù)對(duì)所述人體重建網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練；

步驟四、保存完成訓(xùn)練的人體重建網(wǎng)絡(luò)模型；將待處理的人體圖像經(jīng)過預(yù)處理后輸入到保存的網(wǎng)絡(luò)模型中，生成具有特定姿態(tài)的人體三維模型。

2.如權(quán)利要求1所述的基于注意力機(jī)制的人體重建方法，其特征在于：所述特征提取模塊由深度卷積神經(jīng)網(wǎng)絡(luò)Resnet50經(jīng)過精簡和再封裝得到，所述精簡過程僅保留了原網(wǎng)絡(luò)模型中的卷積部分；輸入的所述人體圖像經(jīng)所述特征提取模塊的卷積處理后，得到所述原始特征圖。

3.如權(quán)利要求1所述的基于注意力機(jī)制的人體重建方法，其特征在于：所述注意力模塊以所述特征提取模塊的輸出作為輸入，輸入的所述原始特征圖在所述注意力模塊中首先分別經(jīng)過平均池化層和最大池化層，兩個(gè)池化結(jié)果經(jīng)過特征拼接后再依次經(jīng)過卷積處理和Sigmoid操作，得到所述注意力圖；

在所述注意力模塊中，所述平均池化層的池化操作公式為：

F_avg＝AvgPool(F)；

所述最大池化層的池化操作公式為：

F_max＝MaxPool(F)；

上式中，F(xiàn)表示原始特征圖，F(xiàn)_avg表示平均池化操作后的特征圖，F(xiàn)_max表示最大池化操作后的特征圖，MaxPool(·)表示最大池化操作，AvgPool(·)表示平均池化操作；

所述注意力圖的生成操作公式為：

M(F)＝σ(f(cat(F_avg,F_max)))；

上式中，M(F)表示注意力圖；σ(·)表示Sigmoid激活函數(shù)；f(·)表示卷積操作；cat(·)表示特征圖的拼接操作。

4.如權(quán)利要求1所述的基于注意力機(jī)制的人體重建方法，其特征在于：在所述融合模塊中，通過對(duì)所述注意力圖和所述原始特征圖進(jìn)行對(duì)應(yīng)元素相乘操作，得到融合后的所述身體注意力特征圖；其中，融合操作的公式為：

上式中，F(xiàn)′表示身體注意力特征圖，M(F)表示注意力圖；表示按對(duì)應(yīng)元素相乘操作；F表示原始特征圖。

5.如權(quán)利要求1所述的基于注意力機(jī)制的人體重建方法，其特征在于：所述參數(shù)推斷模塊中的池化層為平均池化層；三個(gè)全連接層中的前兩個(gè)每層均具有1024個(gè)神經(jīng)元，并通過Dropout操作；第三個(gè)進(jìn)行連接全連接層具有85個(gè)神經(jīng)元，并與上一個(gè)全連接層直接連接；其中，三個(gè)全連接層構(gòu)成所述參數(shù)推斷模塊中的迭代回歸部分。