[發(fā)明專利]一種車輛行駛過程中行人動(dòng)作識別方法和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110243281.3
• 申請日: 2021-03-05
• 公開（公告）號: CN112818942B
• 公開（公告）日: 2022-11-18
• 發(fā)明（設(shè)計(jì)）人: 楊蒙蒙;楊殿閣;付崢;江昆;黃晉;王思佳
• 申請（專利權(quán)）人: 清華大學(xué)
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V10/44;G06V10/764;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京紀(jì)凱知識產(chǎn)權(quán)代理有限公司 11245
• 代理人: 趙悅

本發(fā)明屬于智能汽車的環(huán)境感知技術(shù)領(lǐng)域，涉及一種車輛行駛過程中行人動(dòng)作識別方法和系統(tǒng)，包括以下步驟：S1獲取行人視頻圖像；S2從行人視頻圖像中提取行人的2D關(guān)節(jié)點(diǎn)坐標(biāo)和骨架；S3根據(jù)2D關(guān)節(jié)點(diǎn)坐標(biāo)估算行人的3D關(guān)節(jié)點(diǎn)坐標(biāo)，并對3D關(guān)節(jié)點(diǎn)坐標(biāo)進(jìn)行歸一化；S4將骨架和經(jīng)過歸一化的3D關(guān)節(jié)點(diǎn)坐標(biāo)輸入時(shí)空自適應(yīng)圖網(wǎng)絡(luò)模型，獲得行人識別結(jié)果。其不僅可以解決由于行人的身高、衣著，交通場景光照、動(dòng)作種類多以及復(fù)雜度高等因素的影響，同時(shí)克服了車輛在行駛過程中，行人檢測尺度變化的影響，有效提升行人動(dòng)作檢測精度。

技術(shù)領(lǐng)域

本發(fā)明涉及一種車輛行駛過程中行人動(dòng)作識別方法和系統(tǒng)，屬于智能汽車的環(huán)境感知技術(shù)領(lǐng)域。

背景技術(shù)

在車輛自動(dòng)駕駛過程中，對行人的感知極其重要。其不僅需要對行人進(jìn)行檢測，而且還要進(jìn)一步檢測出行人的動(dòng)作，從而更好的理解行人意圖，幫助車輛做出最優(yōu)決策，提升自動(dòng)駕駛車輛的安全性、可靠性。

目前針對行人的行為識別一般基于靜止車輛時(shí)對行人的動(dòng)作識別，而自動(dòng)駕駛車輛大部分的工作在運(yùn)動(dòng)狀態(tài)，因此行人動(dòng)作識別算法要在從行人尺度不斷變化的圖像中準(zhǔn)確識別出行人的動(dòng)作。實(shí)際中，行人動(dòng)作有多種，而且不同行人動(dòng)作幅度、頻率也不盡相同，而現(xiàn)有的行人識別方法并不能夠?qū)π腥朔取㈩l率差異較大的動(dòng)作準(zhǔn)確識別，所以在實(shí)際應(yīng)用中，行人的行為識別還面臨著較為嚴(yán)峻的挑戰(zhàn)。

發(fā)明內(nèi)容

針對上述問題，本發(fā)明的目的是提供一種車輛行駛過程中行人動(dòng)作識別方法和系統(tǒng)，其不僅可以解決由于行人的身高、衣著，交通場景光照、動(dòng)作種類多以及復(fù)雜度高等因素的影響，同時(shí)克服了車輛在行駛過程中，行人檢測尺度變化的影響，有效提升行人動(dòng)作檢測精度。

為實(shí)現(xiàn)上述目的，本發(fā)明采取以下技術(shù)方案：一種車輛行駛過程中行人動(dòng)作識別方法，包括以下步驟：S1獲取行人視頻圖像；S2從行人視頻圖像中提取行人的2D關(guān)節(jié)點(diǎn)坐標(biāo)和骨架；S3根據(jù)2D關(guān)節(jié)點(diǎn)坐標(biāo)估算行人的3D關(guān)節(jié)點(diǎn)坐標(biāo)，并對3D關(guān)節(jié)點(diǎn)坐標(biāo)進(jìn)行歸一化；S4將骨架和經(jīng)過歸一化的3D關(guān)節(jié)點(diǎn)坐標(biāo)輸入時(shí)空自適應(yīng)圖網(wǎng)絡(luò)模型，獲得行人識別結(jié)果。

進(jìn)一步，步驟S3中根據(jù)2D關(guān)節(jié)點(diǎn)坐標(biāo)估算行人的3D關(guān)節(jié)點(diǎn)坐標(biāo)的方法為：將2D關(guān)節(jié)點(diǎn)坐標(biāo)輸入至卷積網(wǎng)絡(luò)，卷積網(wǎng)絡(luò)包括若干組全卷積模塊，全卷積模塊包括兩部分，每個(gè)部分均由卷積層、歸一化、Relu激活函數(shù)和Dropout正則化組成，兩部分之間通過全連接的方式連接，最后通過全連接層輸出3D關(guān)節(jié)點(diǎn)坐標(biāo)。

進(jìn)一步，對3D關(guān)節(jié)點(diǎn)坐標(biāo)進(jìn)行歸一化的方法為：通過坐標(biāo)系轉(zhuǎn)換，將物理坐標(biāo)系下的行人的3D關(guān)節(jié)點(diǎn)坐標(biāo)轉(zhuǎn)換到以行人根關(guān)節(jié)點(diǎn)為原點(diǎn)的三維坐標(biāo)系下；計(jì)算三維坐標(biāo)系的尺度因子，將每幀3D關(guān)節(jié)點(diǎn)坐標(biāo)除以尺度因子，得到隨著車輛移動(dòng)但尺度固定的3D關(guān)節(jié)點(diǎn)坐標(biāo)。

進(jìn)一步，尺度因子為行人的臀部到胸部之間的距離。

進(jìn)一步，時(shí)空自適應(yīng)圖網(wǎng)絡(luò)模型包括自適應(yīng)空間圖網(wǎng)絡(luò)和自適應(yīng)時(shí)序圖網(wǎng)絡(luò)，自適應(yīng)空間圖網(wǎng)絡(luò)根據(jù)人體結(jié)構(gòu)，將同一幀的關(guān)節(jié)點(diǎn)連接成邊，組成空間邊L_s＝{v_it,v_jt|(i,j)∈B}B，從而組成一組自然連接的人體關(guān)節(jié)點(diǎn)坐標(biāo)；自適應(yīng)時(shí)序圖網(wǎng)絡(luò)將連續(xù)兩幀中相同的關(guān)節(jié)點(diǎn)連接成邊，組成時(shí)間邊L_t＝{v_it,v_i(t+1)}。

進(jìn)一步，自適應(yīng)空間圖網(wǎng)絡(luò)的構(gòu)建方法為：將同一幀的關(guān)節(jié)點(diǎn)分為若干子集，并分別對子集中的關(guān)節(jié)點(diǎn)進(jìn)行卷積操作，獲得初始圖卷積網(wǎng)絡(luò)；構(gòu)建初始圖卷積網(wǎng)絡(luò)的鄰接矩陣以及度矩陣；根據(jù)行人視頻圖像對鄰接矩陣進(jìn)行訓(xùn)練得到結(jié)構(gòu)特征矩陣A₁；抽取動(dòng)作特征通過叉乘獲得大小與鄰接矩陣相同的動(dòng)作特征矩陣其中k∈K，表示第k個(gè)子集劃分，K為劃分的子集總數(shù)；從而獲得融合了人體結(jié)構(gòu)和動(dòng)作的特征矩陣

其中，λ是超參數(shù)，用于權(quán)衡結(jié)構(gòu)特征和動(dòng)作特征之間的重要性；