[發(fā)明專利]一種利用肢體特征輔助的行人和騎車人姿態(tài)估計(jì)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201911190502.4
• 申請(qǐng)日: 2019-11-28
• 公開（公告）號(hào): CN111008583B
• 公開（公告）日: 2023-01-06
• 發(fā)明（設(shè)計(jì)）人: 楊殿閣;王思佳;江昆;楊蒙蒙;溫拓樸;熊輝
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué)
• 主分類號(hào): G06V40/20
• 分類號(hào): G06V40/20;G06V40/10;G06V10/80;G06V10/84;G06V10/774
• 代理公司: 北京紀(jì)凱知識(shí)產(chǎn)權(quán)代理有限公司 11245
• 代理人: 孫楠

本發(fā)明涉及一種利用肢體特征輔助的行人和騎車人姿態(tài)估計(jì)方法，其步驟：準(zhǔn)備數(shù)據(jù)：包括公開的通用姿態(tài)數(shù)據(jù)集和自行標(biāo)注的行人姿態(tài)數(shù)據(jù)；選擇基礎(chǔ)網(wǎng)絡(luò)模型，定義網(wǎng)絡(luò)輸入、輸出，使用數(shù)據(jù)集中標(biāo)注的關(guān)節(jié)點(diǎn)坐標(biāo)構(gòu)造關(guān)節(jié)點(diǎn)真值熱圖與肢體真值熱圖，定義損失函數(shù)和超參數(shù)，訓(xùn)練網(wǎng)絡(luò)使之能夠輸出接近真值熱圖的肢體估計(jì)熱圖和關(guān)節(jié)點(diǎn)估計(jì)熱圖；對(duì)于每張輸入的圖像，兩組網(wǎng)絡(luò)分別輸出13幅肢體熱圖和13幅關(guān)節(jié)點(diǎn)熱圖，對(duì)其進(jìn)行后融合，使最終輸出的關(guān)節(jié)點(diǎn)熱圖能整合肢體檢測與關(guān)節(jié)點(diǎn)檢測結(jié)果；搜索輸出關(guān)節(jié)點(diǎn)熱圖中的最大熱值和次大熱值，獲取最大熱值的相應(yīng)位置坐標(biāo)和次大熱值的相應(yīng)位置坐標(biāo)，最后得到的關(guān)節(jié)點(diǎn)坐標(biāo)。

技術(shù)領(lǐng)域

本發(fā)明涉及一種人體姿態(tài)估計(jì)方法，特別是關(guān)于一種基于計(jì)算機(jī)視覺，針對(duì)交通場景的利用肢體特征輔助的行人和騎車人姿態(tài)估計(jì)方法。

背景技術(shù)

環(huán)境感知技術(shù)是車輛智能化發(fā)展的基礎(chǔ)，對(duì)行人、騎車人等道路使用者的感知一直是其中重要的研究內(nèi)容。隨著車輛智能化對(duì)環(huán)境感知能力要求的不斷提升，不僅需要獲取車輛周圍目標(biāo)的當(dāng)前位置，還希望能夠具備理解目標(biāo)行為、預(yù)測目標(biāo)意圖的能力，而針對(duì)行人、騎車人等道路使用者，其姿態(tài)特征能夠更直接地表征其動(dòng)作和行為，例如ZhijieFang等人實(shí)驗(yàn)證明了行人的二維姿態(tài)特征能夠輔助行人穿行意圖的識(shí)別，LorenzoBertoni等人將人體二維姿態(tài)用于單目視覺三維定位。因此有必要對(duì)行人和騎車人這一類道路使用者的姿態(tài)估計(jì)進(jìn)行研究，以獲得更準(zhǔn)確的姿態(tài)用于后續(xù)任務(wù)。

二維人體姿態(tài)估計(jì)是計(jì)算機(jī)視覺領(lǐng)域的熱點(diǎn)問題，當(dāng)前姿態(tài)估計(jì)效果最好的方法都屬于基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法，而這類方法通常需要大規(guī)模的數(shù)據(jù)集才能訓(xùn)練得到泛化能力較強(qiáng)的模型。然而，當(dāng)前尚無公開的行人和騎車人姿態(tài)數(shù)據(jù)集，且大規(guī)模數(shù)據(jù)集的準(zhǔn)備成本較高，所以相關(guān)研究還不夠充分。通過車載相機(jī)拍攝的交通場景圖像中的行人和騎車人樣本具備如下特點(diǎn)：尺寸小(像素低)、背景混雜、存在運(yùn)動(dòng)模糊、遮擋或截?cái)啵c通用姿態(tài)數(shù)據(jù)集中的人體樣本特點(diǎn)不一致。瑞士洛桑聯(lián)邦理工學(xué)院VITA實(shí)驗(yàn)室提出了適用于自動(dòng)駕駛汽車領(lǐng)域的人體姿態(tài)估計(jì)方法PifPaf，但由于缺乏行人和騎車人姿態(tài)數(shù)據(jù)，無法量化評(píng)價(jià)，所以其有效性驗(yàn)證受限。研究者可基于現(xiàn)有的行人數(shù)據(jù)集構(gòu)造小規(guī)模的姿態(tài)數(shù)據(jù)集，但對(duì)比當(dāng)前廣泛使用、圖片數(shù)量上萬的的MSCOCO、MPII等通用姿態(tài)數(shù)據(jù)集，小規(guī)模數(shù)據(jù)集難以支撐深度神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練，難以達(dá)到能夠應(yīng)對(duì)復(fù)雜交通場景的感知能力。

發(fā)明內(nèi)容

針對(duì)上述問題，本發(fā)明的目的是提供一種利用肢體特征輔助的行人和騎車人姿態(tài)估計(jì)方法，該方法通過肢體特征的學(xué)習(xí)增強(qiáng)模型估計(jì)關(guān)節(jié)點(diǎn)的性能，同時(shí)將肢體估計(jì)輸出與關(guān)節(jié)點(diǎn)估計(jì)輸出融合，改善遮擋情況下的關(guān)節(jié)點(diǎn)檢測效果，適用于基于自行標(biāo)注姿態(tài)數(shù)據(jù)的小規(guī)模數(shù)據(jù)集進(jìn)行深度學(xué)習(xí)訓(xùn)練，解決自動(dòng)駕駛領(lǐng)域交通場景下的行人和騎車人姿態(tài)估計(jì)問題。

為實(shí)現(xiàn)上述目的，本發(fā)明采取以下技術(shù)方案：一種利用肢體特征輔助的行人和騎車人姿態(tài)估計(jì)方法，其包括以下步驟：1)準(zhǔn)備數(shù)據(jù)：包括公開的通用姿態(tài)數(shù)據(jù)集和自行標(biāo)注的行人姿態(tài)數(shù)據(jù)；2)選擇基礎(chǔ)網(wǎng)絡(luò)模型，定義網(wǎng)絡(luò)輸入、輸出，使用數(shù)據(jù)集中標(biāo)注的關(guān)節(jié)點(diǎn)坐標(biāo)構(gòu)造關(guān)節(jié)點(diǎn)真值熱圖與肢體真值熱圖，定義損失函數(shù)和超參數(shù)，訓(xùn)練網(wǎng)絡(luò)使之能夠輸出接近真值熱圖的肢體估計(jì)熱圖和關(guān)節(jié)點(diǎn)估計(jì)熱圖；3)對(duì)于每張輸入的圖像，兩組網(wǎng)絡(luò)分別輸出肢體熱圖和關(guān)節(jié)點(diǎn)熱圖，對(duì)其進(jìn)行后融合，使最終輸出的關(guān)節(jié)點(diǎn)熱圖能整合肢體檢測與關(guān)節(jié)點(diǎn)檢測結(jié)果；4)搜索輸出關(guān)節(jié)點(diǎn)熱圖中的最大熱值和次大熱值，獲取最大熱值的相應(yīng)位置坐標(biāo)和次大熱值的相應(yīng)位置坐標(biāo)最后得到的關(guān)節(jié)點(diǎn)坐標(biāo)。

進(jìn)一步，所述步驟1)中，選取大規(guī)模公開數(shù)據(jù)對(duì)網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練使網(wǎng)絡(luò)具有基本的提取特征的能力，或直接選擇已完成預(yù)訓(xùn)練的網(wǎng)絡(luò)模型及預(yù)訓(xùn)練參數(shù)；另選含行人和騎車人樣本的小規(guī)模數(shù)據(jù)集進(jìn)行人體關(guān)節(jié)點(diǎn)標(biāo)注。