[發明專利]一種利用肢體特征輔助的行人和騎車人姿態估計方法

有效

• 申請號: 201911190502.4
• 申請日: 2019-11-28
• 公開（公告）號: CN111008583B
• 公開（公告）日: 2023-01-06
• 發明（設計）人: 楊殿閣;王思佳;江昆;楊蒙蒙;溫拓樸;熊輝
• 申請（專利權）人: 清華大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V40/10;G06V10/80;G06V10/84;G06V10/774
• 代理公司: 北京紀凱知識產權代理有限公司 11245
• 代理人: 孫楠

1.一種利用肢體特征輔助的行人和騎車人姿態估計方法，其特征在于包括以下步驟：

1)準備數據：包括公開的通用姿態數據集和自行標注的行人姿態數據；

2)選擇基礎網絡模型，定義網絡輸入、輸出，使用數據集中標注的關節點坐標構造關節點真值熱圖與肢體真值熱圖，定義損失函數和超參數，訓練網絡使之能夠輸出接近真值熱圖的肢體估計熱圖和關節點估計熱圖；

3)對于每張輸入的圖像，兩組網絡分別輸出肢體熱圖和關節點熱圖，對其進行后融合，使最終輸出的關節點熱圖能整合肢體檢測與關節點檢測結果；

4)搜索輸出關節點熱圖中的最大熱值和次大熱值，獲取最大熱值的相應位置坐標和次大熱值的相應位置坐標最后得到的關節點坐標；

所述步驟3)中，根據肢體的定義，一些肢體有共同的關節點，所以這些共同的關節點的熱圖用相關的肢體熱圖表達，由肢體熱圖計算得到的關節點熱圖作為輔助熱圖；

由肢體熱圖計算得到的關節點熱圖作為輔助熱圖的計算方式如下：

式中，表示輔助熱圖，即由肢體熱圖計算得到的關節點熱圖，表示含有關節點k的肢體l_i的估計熱圖，i是序號，是關節點k的估計熱圖，·,·_F表示Frobenius內積；

融合后輸出的關節點熱圖為：

式中，是輸出的關節點熱圖，α和β分別為關節點的輔助熱圖和關節點估計熱圖的權重。

2.如權利要求1所述姿態估計方法，其特征在于：所述步驟1)中，選取大規模公開數據對網絡進行預訓練使網絡具有提取特征的能力，或直接選擇已完成預訓練的網絡模型及預訓練參數；另選含行人和騎車人樣本的小規模數據集進行人體關節點標注。

3.如權利要求1所述姿態估計方法，其特征在于：所述步驟2)中，訓練肢體檢測網絡與關節點檢測網絡的具體步驟如下：

2.1)構造關節點真值熱圖；

2.2)定義肢體并構造肢體真值熱圖：肢體定義為由相鄰關節點構成的線段，肢體真值熱圖的構造借鑒關節點真值熱圖構造方式，距離肢體線段近的點熱值高，距離肢體線段遠的點熱值低；

2.3)訓練肢體檢測網絡：選擇基礎網絡結構并根據網絡特性對圖像做相應的預處理；首先用預訓練數據集對網絡進行預訓練得到預訓練模型，或直接使用已有的預訓練模型，在此基礎上再使用已進行人體關節標注的小規模訓練數據進行微調；最后得到一組肢體檢測網絡模型參數；

2.4)訓練關節點檢測網絡：在所述步驟2.3)得到的模型參數基礎上，進一步使用同一批已進行人體關節標注的訓練數據對關節點檢測任務進行訓練，最后得到一組關節點檢測網絡模型參數，模型輸出關節點熱圖。

4.如權利要求3所述姿態估計方法，其特征在于：所述步驟2.1)中，遵循人體姿態估計任務中常見的關節點真值熱圖構建方法，采用二維高斯分布模擬關節點的熱圖分布：

式中，H_k(x)表示關節點k的熱值圖上坐標為x＝(x,y)處的熱值，x_k是關節點k的二維坐標，σ²是高斯分布的方差。

5.如權利要求3所述姿態估計方法，其特征在于：所述步驟2.2)中，假設對于第i個關節點k_i、第j個關節點k_j連接構成的肢體其熱圖中任意位置x∈R²處的熱值計算方法如下：

設關節點k_i為點關節點k_j為點任意位置x為點P(x,y)，令則點P到肢體的距離d為：

點P的熱值為：

6.如權利要求3所述姿態估計方法，其特征在于：所述步驟2.3)中，基礎網絡結構選用堆疊沙漏網絡，損失函數選用交叉熵函數。

7.如權利要求1所述姿態估計方法，其特征在于：所述步驟4)中，關節點坐標為：

式中，分別是輸出關節點熱圖中最大熱值和次大熱值的相應位置坐標。