[發(fā)明專利]端到端多視角三維人體姿態(tài)估計方法、系統(tǒng)及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202011548666.2
• 申請日: 2020-12-24
• 公開（公告）號: CN112560757B
• 公開（公告）日: 2022-08-09
• 發(fā)明（設(shè)計）人: 薛健;牛澤海;呂科
• 申請（專利權(quán)）人: 中國科學(xué)院大學(xué)
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/80;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京紀(jì)凱知識產(chǎn)權(quán)代理有限公司 11245
• 代理人: 孫楠

本發(fā)明涉及一種端到端多視角三維人體姿態(tài)估計方法、系統(tǒng)及存儲介質(zhì)，其包括：加載預(yù)訓(xùn)練后的二維人體姿態(tài)估計網(wǎng)絡(luò)，將當(dāng)前每個視角的圖片作為該網(wǎng)絡(luò)的輸入；通過二維人體姿態(tài)估計網(wǎng)絡(luò)生成熱力圖，將其作為LSTM熱力圖時序信息提取網(wǎng)絡(luò)的輸入；根據(jù)時間序列步長T的取值將熱力圖輸入至LSTM初始化熱力圖時序信息提取網(wǎng)絡(luò)及LSTM熱力圖時序信息提取網(wǎng)絡(luò)，得到細(xì)胞態(tài)及隱藏態(tài)；將得到的隱藏態(tài)饋送到解碼器網(wǎng)絡(luò)中，得到解碼后的熱力圖；將熱力圖與解碼后的熱力圖進(jìn)行融合，得到融合了時間與空間信息的熱力圖H_t(p)；將熱力圖H_t(p)送入soft?argmax線性代數(shù)三角化網(wǎng)絡(luò)中得到2D點(diǎn)位置；求解齊次三維坐標(biāo)向量上的超定方程采用可微分的DLT?SII算法，得到最終的三維人體姿態(tài)估計點(diǎn)。

技術(shù)領(lǐng)域

本發(fā)明涉及一種計算機(jī)視覺領(lǐng)域，特別是關(guān)于一種基于深度學(xué)習(xí)網(wǎng)絡(luò)，結(jié)合時間特征及空間特征的端到端多視角三維人體姿態(tài)估計方法、系統(tǒng)及存儲介質(zhì)。

背景技術(shù)

人體姿態(tài)估計是計算機(jī)視覺的重要任務(wù)之一，其在人機(jī)交互、動畫制作、行為識別領(lǐng)域有著廣泛的應(yīng)用。其中，現(xiàn)有的人體姿態(tài)估計的研究方向主要有二維人體姿態(tài)估計及三維人體姿態(tài)估計，盡管二維人體姿態(tài)估計有自遮擋、運(yùn)動模糊、服飾帶來的語義模糊、光照條件不一、人體姿態(tài)的部分缺失等挑戰(zhàn)，但現(xiàn)有研究在二維人體姿態(tài)估計領(lǐng)域已經(jīng)取得了較好的研究進(jìn)展，可以在大部分情況較為準(zhǔn)確的估計出人的二維人體姿態(tài)，比如自下而上的人體姿態(tài)估計方法與自上而下的人體姿態(tài)估計方法，以HRNet(Sun K,Xiao B,Liu D,et al.Deep high-resolution representation learning for human pose estimation[C]//Proceedings of the IEEE conference on computer vision and patternrecognition.2019:5693-5703.)為代表的自上而下的二維人體姿態(tài)估計算法和以HigherHRNet(Cheng B,Xiao B,Wang J,et al.HigherHRNet:Scale-AwareRepresentation Learning for Bottom-Up Human Pose Estimation[C]//2020 IEEE/CVFConference on Computer Vision and Pattern Recognition(CVPR).IEEE,2020.)為代表的自下而上的二維人體姿態(tài)估計方法取得了令人矚目的效果。