[發(fā)明專利]一種基于深度學(xué)習(xí)的斑馬線禮讓行人視覺(jué)檢測(cè)系統(tǒng)及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210027599.2
• 申請(qǐng)日: 2022-01-11
• 公開(kāi)（公告）號(hào): CN114387549A
• 公開(kāi)（公告）日: 2022-04-22
• 發(fā)明（設(shè)計(jì)）人: 王飛;劉雙;王銀環(huán);王麗辰;張成蘭;梅榮德;盧曉東
• 申請(qǐng)（專利權(quán)）人: 山東華夏高科信息股份有限公司
• 主分類號(hào): G06V20/40
• 分類號(hào): G06V20/40;G06V20/54;G06N20/00
• 代理公司: 北京慕達(dá)星云知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 11465
• 代理人: 李冉

本發(fā)明公開(kāi)了一種基于深度學(xué)習(xí)的斑馬線禮讓行人視覺(jué)檢測(cè)系統(tǒng)及方法，該系統(tǒng)包括：參數(shù)配置模塊，用于設(shè)置所述視覺(jué)檢測(cè)系統(tǒng)的檢測(cè)參數(shù)；通信模塊，用于將設(shè)置的所述視覺(jué)檢測(cè)系統(tǒng)的檢測(cè)參數(shù)發(fā)送給信息采集及處理模塊；信息采集及處理模塊，用于檢測(cè)并識(shí)別復(fù)雜交通場(chǎng)景下的行人、機(jī)動(dòng)車(chē)目標(biāo)，捕捉目標(biāo)的行為并對(duì)捕捉到的行為進(jìn)行判別。本發(fā)明能夠在設(shè)定的區(qū)域內(nèi)對(duì)行人、機(jī)動(dòng)車(chē)等目標(biāo)進(jìn)行實(shí)時(shí)檢測(cè)、追蹤和識(shí)別，并根據(jù)行人及機(jī)動(dòng)車(chē)的位置及時(shí)空行為，對(duì)機(jī)動(dòng)車(chē)不禮讓行人、機(jī)動(dòng)車(chē)超速行駛等違反道路交通規(guī)范章程的行為進(jìn)行實(shí)時(shí)的捕捉和判別，提高了交通監(jiān)管的效率和準(zhǔn)確性。本發(fā)明具有高效、準(zhǔn)確、便捷、智能化程度高的特點(diǎn)。

技術(shù)領(lǐng)域

本發(fā)明涉及視覺(jué)檢測(cè)技術(shù)領(lǐng)域，特別是涉及一種基于深度學(xué)習(xí)的斑馬線禮讓行人視覺(jué)檢測(cè)系統(tǒng)及方法。

背景技術(shù)

在當(dāng)前混合交通環(huán)境條件下，行人在道路交通系統(tǒng)中由于缺乏相應(yīng)的保護(hù)設(shè)備而成為道路交通參與者中的弱勢(shì)群體。由于行人在出行過(guò)程中需要穿越道路，為幫助行人安全通行，在道路上設(shè)置了斑馬線區(qū)域。斑馬線區(qū)域是在車(chē)行道上用斑馬線等標(biāo)線標(biāo)示的規(guī)定車(chē)輛需減速禮讓行人過(guò)街的地方，目的是防止車(chē)輛快速行駛時(shí)傷及行人。因此，斑馬線區(qū)域常常成為行人與車(chē)輛交互最頻繁的區(qū)域。

目前，由于前端違法監(jiān)控?cái)z像頭在技術(shù)層面存在檢測(cè)的局限性，面對(duì)周?chē)h(huán)境復(fù)雜、語(yǔ)義信息差等問(wèn)題導(dǎo)致禮讓行人的檢測(cè)效果不理想，因此，研發(fā)出能適應(yīng)復(fù)雜環(huán)境的斑馬線禮讓行人的檢測(cè)方法是本領(lǐng)域技術(shù)人員亟待解決的問(wèn)題。

發(fā)明內(nèi)容

本發(fā)明的目的是為了提供一種基于深度學(xué)習(xí)的斑馬線禮讓行人視覺(jué)檢測(cè)系統(tǒng)及方法，通過(guò)深度學(xué)習(xí)技術(shù)，對(duì)在復(fù)雜交通場(chǎng)景下的機(jī)動(dòng)車(chē)不禮讓行人的行為進(jìn)行檢測(cè)和識(shí)別，具有高效、準(zhǔn)確、便捷、智能化程度高的特點(diǎn)。

為實(shí)現(xiàn)上述目的，本發(fā)明提供了如下方案：

第一方面，本發(fā)明提供一種基于深度學(xué)習(xí)的斑馬線禮讓行人視覺(jué)檢測(cè)系統(tǒng)，包括：

參數(shù)配置模塊，用于設(shè)置所述視覺(jué)檢測(cè)系統(tǒng)的檢測(cè)參數(shù)；

通信模塊，用于將設(shè)置的所述視覺(jué)檢測(cè)系統(tǒng)的檢測(cè)參數(shù)發(fā)送給信息采集及處理模塊；

信息采集及處理模塊，用于檢測(cè)并識(shí)別復(fù)雜交通場(chǎng)景下的行人、機(jī)動(dòng)車(chē)目標(biāo)，捕捉目標(biāo)的行為并對(duì)捕捉到的行為進(jìn)行判別。

可選的，所述視覺(jué)檢測(cè)系統(tǒng)的檢測(cè)參數(shù)包括：車(chē)輛檢測(cè)區(qū)域、行人斑馬線區(qū)域、當(dāng)前車(chē)道的斜率以及接入相機(jī)的參數(shù)。

可選的，所述通信模塊具體采用Http通信協(xié)議。

可選的，所述信息采集及處理模塊包括：

行人車(chē)輛檢測(cè)模塊，用于實(shí)時(shí)檢測(cè)當(dāng)前視頻幀中的人、車(chē)實(shí)例，通過(guò)NMS算法對(duì)滿足IOU及中心點(diǎn)距離閾值要求的檢測(cè)框進(jìn)行二次篩選；

多目標(biāo)追蹤模塊，用于對(duì)檢測(cè)到的人車(chē)實(shí)例進(jìn)行特征提取和匹配，同時(shí)通過(guò)L-K光流算法及CIOU算法追蹤人車(chē)實(shí)例在連續(xù)多幀中的目標(biāo)軌跡；

行為判定模塊，用于對(duì)進(jìn)入檢測(cè)區(qū)域的車(chē)輛及行人進(jìn)行移動(dòng)偵測(cè)，判斷車(chē)輛是否禮讓行人；

細(xì)粒度識(shí)別模塊，用于采用深度學(xué)習(xí)技術(shù)對(duì)檢測(cè)到的未禮讓行人的機(jī)動(dòng)車(chē)及移動(dòng)行人進(jìn)行二次精細(xì)識(shí)別。

可選的，所述行為判定模塊判斷車(chē)輛未禮讓行人的條件為：

行人在預(yù)設(shè)時(shí)間內(nèi)沿斑馬線方向橫向運(yùn)動(dòng)，此時(shí)在斑馬線區(qū)域內(nèi)檢測(cè)到車(chē)輛，若該車(chē)輛與移動(dòng)行人的距離小于設(shè)置的閾值且車(chē)輛在前t秒時(shí)間內(nèi)沿車(chē)道方向移動(dòng)，判斷該車(chē)輛未禮讓行人；

行人穿過(guò)斑馬線移動(dòng)，此時(shí)在斑馬線區(qū)域內(nèi)檢測(cè)到車(chē)輛，且該車(chē)輛在前t秒內(nèi)沿車(chē)道方向以超過(guò)閾值速度行駛，判斷該車(chē)輛未禮讓行人。

可選的，還包括：