[發明專利]一種車輛行駛過程中行人動作識別方法和系統

有效

• 申請號: 202110243281.3
• 申請日: 2021-03-05
• 公開（公告）號: CN112818942B
• 公開（公告）日: 2022-11-18
• 發明（設計）人: 楊蒙蒙;楊殿閣;付崢;江昆;黃晉;王思佳
• 申請（專利權）人: 清華大學
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V10/44;G06V10/764;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京紀凱知識產權代理有限公司 11245
• 代理人: 趙悅

1.一種車輛行駛過程中行人動作識別方法，其特征在于，包括以下步驟：

S1獲取行人視頻圖像；

S2從所述行人視頻圖像中提取行人的2D關節點坐標和骨架；

S3根據所述2D關節點坐標估算行人的3D關節點坐標，并對所述3D關節點坐標進行歸一化；

S4將骨架和經過歸一化的3D關節點坐標輸入時空自適應圖網絡模型，獲得行人識別結果。

2.如權利要求1所述的車輛行駛過程中行人動作識別方法，其特征在于，所述步驟S3中根據所述2D關節點坐標估算行人的3D關節點坐標的方法為：將所述2D關節點坐標輸入至卷積網絡，所述卷積網絡包括若干組全卷積模塊，所述全卷積模塊包括兩部分，每個部分均由卷積層、歸一化、Relu激活函數和Dropout正則化組成，兩部分之間通過全連接的方式連接，最后通過全連接層輸出3D關節點坐標。

3.如權利要求2所述的車輛行駛過程中行人動作識別方法，其特征在于，對所述3D關節點坐標進行歸一化的方法為：通過坐標系轉換，將物理坐標系下的行人的3D關節點坐標轉換到以行人根關節點為原點的三維坐標系下；計算所述三維坐標系的尺度因子，將每幀3D關節點坐標除以尺度因子，得到隨著車輛移動但尺度固定的3D關節點坐標。

4.如權利要求3所述的車輛行駛過程中行人動作識別方法，其特征在于，所述尺度因子為行人的臀部到胸部之間的距離。

5.如權利要求1所述的車輛行駛過程中行人動作識別方法，其特征在于，所述時空自適應圖網絡模型包括自適應空間圖網絡和自適應時序圖網絡，所述自適應空間圖網絡根據人體結構，將同一幀的關節點連接成邊，組成空間邊L_s＝{v_it,v_jt|(i,j)∈B}B，從而組成一組自然連接的人體關節點坐標；所述自適應時序圖網絡將連續兩幀中相同的關節點連接成邊，組成時間邊L_t＝{v_it,v_i(t+1)}。

6.如權利要求5所述的車輛行駛過程中行人動作識別方法，其特征在于，所述自適應空間圖網絡的構建方法為：將同一幀的關節點分為若干子集，并分別對所述子集中的關節點進行卷積操作，獲得初始圖卷積網絡；構建所述初始圖卷積網絡的鄰接矩陣以及度矩陣；根據所述行人視頻圖像對所述鄰接矩陣進行訓練得到結構特征矩陣A₁；抽取動作特征通過叉乘獲得大小與所述鄰接矩陣相同的動作特征矩陣A₂；從而獲得融合了人體結構和動作的特征矩陣

其中k∈K，表示第k個子集劃分，K為劃分的子集總數；λ是超參數，用于權衡結構特征和動作特征之間的重要性。

最后，基于融合了人體結構和動作的特征矩陣和度矩陣分別在若干個所述子集中進行圖卷積運算，獲得所述自適應時序圖網絡的輸出值。

7.如權利要求6所述的車輛行駛過程中行人動作識別方法，其特征在于，所述圖卷積運算的公式為：

其中，σ為歸一化函數，δ為ReLU函數，為圖卷積操作后的輸出特征向量，OUT1是所述自適應空間圖網絡的輸出值，W_k為第k個子集劃分節點學到的卷積權重,X為時序卷積網絡的輸入向量。

8.如權利要求5所述的車輛行駛過程中行人動作識別方法，其特征在于，所述自適應時序圖網絡的構建方法為：采用滑窗切片的方式進行數據處理，當新的數據流進入時，采用切片方式剔除窗口第一幀數據，并補齊當前幀數據，保證每幀數據結果實時輸出，并在全局分支中，根據窗口數據生成自適應時序卷積核；使用二維全局平均池化網絡來壓縮所述自適應時序卷積核；用自適應加權對將經過壓縮的所述自適應時序卷積核進行聚合，獲得所述自適應時序圖網絡的輸出值。