[發(fā)明專利]一種多視圖中基于高質量熱圖的3D人體姿態(tài)估計方法

在審

• 申請?zhí)枺?/td>: 202210108698.3
• 申請日: 2022-01-28
• 公開（公告）號: CN114613001A
• 公開（公告）日: 2022-06-10
• 發(fā)明（設計）人: 周卉芬;洪朝群;范一慶;郭澤添;莊艷輝
• 申請（專利權）人: 廈門理工學院
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/64;G06V10/82;G06N3/04;G06T7/66
• 代理公司: 廈門市首創(chuàng)君合專利事務所有限公司 35204
• 代理人: 連耀忠

本發(fā)明提出一種多視圖中基于高質量熱圖的3D人體姿態(tài)估計方法，首先通過將不同試圖輸入到HRNet網絡，得到各個視圖相對應的2D人體姿態(tài)熱圖；對每個人體姿態(tài)熱圖分配一個與數(shù)據相關的權重，得到高質量熱圖值；再融合包含被檢測目標人物豐富信息的3D特征卷，得到被檢測目標人物的大致定位，再構建一個以每個目標人為中心的單獨的細粒度特征卷，并將其輸入人體姿態(tài)回歸網絡，最終估計詳細的三維人體姿態(tài)；本發(fā)明提供的方法能夠實現(xiàn)準確的三維人體姿態(tài)估計。

技術領域

本發(fā)明涉及誤差補償領域，特別是指一種多視圖中基于高質量熱圖的3D人體姿態(tài)估計方法。

背景技術

近年來，人體姿態(tài)估計在人工智能和計算機視覺領域引起了廣泛的關注。人體姿態(tài)估計已廣泛應用于步態(tài)分析、人機交互、視頻監(jiān)控、智能運動、CG I應用、訓練機器人等各個領域。然而，遮擋、運動模糊、刻度變化、光照變化和對新場景的適應一直是人體姿態(tài)估計研究中面臨的挑戰(zhàn)。因此，大多數(shù)工作都致力于從多個攝像機中估計3D人體姿態(tài)。

對于人體姿態(tài)估計的工作，通常有兩個步驟來解決這個問題。第一步：對各攝像機的數(shù)據進行2D人體姿態(tài)估計，第二步：通過幾何方法獲取攝像機中各人體關節(jié)點的3D坐標作為三角測量或圖形結構模型。對于上述工作，不難看出第一步的2D人體姿態(tài)估計起著至關重要的作用。特別是對于被遮擋的自然場景。

在多視圖中的3D人體姿態(tài)估計中，由于2D人體姿態(tài)估計的不準確，3D人體姿態(tài)估計會有較大的誤差。

發(fā)明內容

本發(fā)明的主要目的在于克服現(xiàn)有技術中的上述缺陷，提出一種多視圖中基于高質量熱圖的方法去獲取目標人物的3D人體姿態(tài)估計，通過將不同試圖輸入到HRNet網絡，得到各個視圖相對應的2D人體姿態(tài)熱圖，然后再通過構建3D特征卷以及細粒度特征卷，并輸入人體姿態(tài)回歸網絡，最終估計詳細的三維人體姿態(tài)；本發(fā)明提供的方法能夠實現(xiàn)準確的三維人體姿態(tài)估計。

本發(fā)明采用如下技術方案：

一種多視圖中基于高質量熱圖的3D人體姿態(tài)估計方法，包括以下步驟：

步驟1：從不同攝像頭中獲取同一時刻的人體視圖，輸入到HRNet進行2D人體姿態(tài)估計，得到各個人體視圖相對應的2D人體姿態(tài)熱圖；

步驟2：根據步驟1得到的各個人體視圖相對應的2D人體姿態(tài)估計熱圖，獲取目標人物關節(jié)點數(shù)最多的2D人體姿態(tài)估計熱圖，并分配權重，計算得到2D人體估計高質量熱圖；

步驟3：將步驟2得到的2D人體估計高質量熱圖投影到3D空間中構造成3D特征卷，并進行多視圖特征的融合，得到各個視圖中的目標人物出現(xiàn)位置的3D概率熱圖；

步驟4：將步驟3得到的各個視圖中的目標人物出現(xiàn)位置的3D概率熱圖構造以其為中心的單獨的細粒度特征卷，得到不同視圖中同一個目標人物的三維邊界框；

步驟5：將步驟4中的不同視圖中同一個目標人物的三維邊界框，輸入到人體姿態(tài)回歸網絡，得到的圖像即為基于高質量熱圖的3D人體姿態(tài)估計的結果。

具體地，步驟1中的從不同攝像頭中獲取同一時刻的人體視圖，輸入到HRNet進行2D人體姿態(tài)估計，具體為：

通過采用一個跨HRNet并行子網的交換單元在不同的子網間交互，，最終得到高分辨率圖像，其中，交換單元的核心公式為：

式中：交換單元的輸入映射為q個響應映射交換單元的輸出映射也為q個響應映射k為關節(jié)點。

具體地，將步驟2得到的2D人體估計高質量熱圖投影到3D空間中構造成3D特征卷，并進行多視圖特征的融合，得到各個視圖中的目標人物出現(xiàn)位置的3D概率熱圖，具體為：