[發明專利]端到端多視角三維人體姿態估計方法、系統及存儲介質

有效

• 申請號: 202011548666.2
• 申請日: 2020-12-24
• 公開（公告）號: CN112560757B
• 公開（公告）日: 2022-08-09
• 發明（設計）人: 薛健;牛澤海;呂科
• 申請（專利權）人: 中國科學院大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/80;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京紀凱知識產權代理有限公司 11245
• 代理人: 孫楠

本發明涉及一種端到端多視角三維人體姿態估計方法、系統及存儲介質，其包括：加載預訓練后的二維人體姿態估計網絡，將當前每個視角的圖片作為該網絡的輸入；通過二維人體姿態估計網絡生成熱力圖，將其作為LSTM熱力圖時序信息提取網絡的輸入；根據時間序列步長T的取值將熱力圖輸入至LSTM初始化熱力圖時序信息提取網絡及LSTM熱力圖時序信息提取網絡，得到細胞態及隱藏態；將得到的隱藏態饋送到解碼器網絡中，得到解碼后的熱力圖；將熱力圖與解碼后的熱力圖進行融合，得到融合了時間與空間信息的熱力圖H_t(p)；將熱力圖H_t(p)送入soft?argmax線性代數三角化網絡中得到2D點位置；求解齊次三維坐標向量上的超定方程采用可微分的DLT?SII算法，得到最終的三維人體姿態估計點。

技術領域

本發明涉及一種計算機視覺領域，特別是關于一種基于深度學習網絡，結合時間特征及空間特征的端到端多視角三維人體姿態估計方法、系統及存儲介質。

背景技術

人體姿態估計是計算機視覺的重要任務之一，其在人機交互、動畫制作、行為識別領域有著廣泛的應用。其中，現有的人體姿態估計的研究方向主要有二維人體姿態估計及三維人體姿態估計，盡管二維人體姿態估計有自遮擋、運動模糊、服飾帶來的語義模糊、光照條件不一、人體姿態的部分缺失等挑戰，但現有研究在二維人體姿態估計領域已經取得了較好的研究進展，可以在大部分情況較為準確的估計出人的二維人體姿態，比如自下而上的人體姿態估計方法與自上而下的人體姿態估計方法，以HRNet(Sun K,Xiao B,Liu D,et al.Deep high-resolution representation learning for human pose estimation[C]//Proceedings of the IEEE conference on computer vision and patternrecognition.2019:5693-5703.)為代表的自上而下的二維人體姿態估計算法和以HigherHRNet(Cheng B,Xiao B,Wang J,et al.HigherHRNet:Scale-AwareRepresentation Learning for Bottom-Up Human Pose Estimation[C]//2020 IEEE/CVFConference on Computer Vision and Pattern Recognition(CVPR).IEEE,2020.)為代表的自下而上的二維人體姿態估計方法取得了令人矚目的效果。