[發(fā)明專利]一種基于優(yōu)化交并比函數(shù)的道路拋灑物檢測(cè)與識(shí)別方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011129588.2
• 申請(qǐng)日: 2020-10-21
• 公開(kāi)（公告）號(hào): CN112232240A
• 公開(kāi)（公告）日: 2021-01-15
• 發(fā)明（設(shè)計(jì)）人: 謝非;章悅;陸飛;汪璠;周鐘文;陳瑾杰;葉欣雨;汪鐵錚;吳俊;汪壬甲
• 申請(qǐng)（專利權(quán)）人: 南京師范大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/32;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 向文

本發(fā)明公開(kāi)了一種基于優(yōu)化交并比函數(shù)的道路拋灑物檢測(cè)與識(shí)別方法，包括如下步驟：搭建基于優(yōu)化交并比函數(shù)的道路拋灑物檢測(cè)與識(shí)別模型；采集道路交通監(jiān)控視頻并進(jìn)行分幀處理生成道路拋灑物數(shù)據(jù)集，對(duì)訓(xùn)練集圖像進(jìn)行標(biāo)注，生成標(biāo)簽文件；將訓(xùn)練集全部圖像和標(biāo)簽文件輸入道路拋灑物檢測(cè)與識(shí)別模型中進(jìn)行訓(xùn)練，得到訓(xùn)練好的模型；將測(cè)試集圖像輸入訓(xùn)練好的道路拋灑物檢測(cè)與識(shí)別模型進(jìn)行檢測(cè)識(shí)別，輸出對(duì)于道路拋灑物的檢測(cè)識(shí)別結(jié)果。本發(fā)明能夠在復(fù)雜道路交通背景下對(duì)道路拋灑物進(jìn)行檢測(cè)和識(shí)別，能夠輸出道路拋灑物位置信息、類別信息以及大致形狀特征，對(duì)于小目標(biāo)有較好的檢測(cè)識(shí)別效果，檢測(cè)速度快、識(shí)別精度高。

技術(shù)領(lǐng)域

本發(fā)明涉及深度學(xué)習(xí)及計(jì)算機(jī)視覺(jué)的技術(shù)領(lǐng)域，具體涉及一種基于優(yōu)化交并比函數(shù)的道路拋灑物檢測(cè)與識(shí)別方法。

背景技術(shù)

隨著人工智能技術(shù)的飛速發(fā)展，深度學(xué)習(xí)與計(jì)算機(jī)視覺(jué)領(lǐng)域的技術(shù)越來(lái)越多的應(yīng)用到了現(xiàn)代化城市管理當(dāng)中。道路拋灑物事件作為道路交通常見(jiàn)的事件具有一定的風(fēng)險(xiǎn)，嚴(yán)重時(shí)會(huì)導(dǎo)致交通事故的發(fā)生。常見(jiàn)的道路拋灑物如石塊、掉落的廢舊紙箱、渣土沙礫、廢舊拋灑布等物品不易被車輛駕駛者發(fā)現(xiàn)，其中多數(shù)尺寸較小，不易被及時(shí)檢測(cè)和排除，同時(shí)道路交通環(huán)境相對(duì)復(fù)雜，這也增加了拋灑物檢測(cè)的難度。目前，計(jì)算機(jī)視覺(jué)中的實(shí)例分割技術(shù)已經(jīng)被廣泛用于自動(dòng)駕駛、醫(yī)療圖像處理、衛(wèi)星圖像等領(lǐng)域。由此，設(shè)想實(shí)例分割也可被應(yīng)用于城市道路交通事件檢測(cè)中。

我國(guó)對(duì)于道路交通事件檢測(cè)這一領(lǐng)域的研究開(kāi)始較晚，現(xiàn)有的道路拋灑物檢測(cè)與識(shí)別方法多是基于傳統(tǒng)圖像處理算法，主要包括幀間差分法、光流法、特征提取法等方法。這些方法都存在著不可避免的缺陷，例如識(shí)別準(zhǔn)確率低，實(shí)時(shí)性較差，對(duì)于小尺寸目標(biāo)的識(shí)別情況不好，可擴(kuò)展性差。

所以，需要一個(gè)新的技術(shù)方案來(lái)解決這些問(wèn)題。

發(fā)明內(nèi)容

發(fā)明目的：為了克服現(xiàn)有技術(shù)中存在的不足，提供一種基于優(yōu)化交并比函數(shù)的道路拋灑物檢測(cè)與識(shí)別方法，其以監(jiān)控?cái)z像頭采集包含道路交通拋灑事件的視頻，通過(guò)神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練的方式得到基于優(yōu)化交并比函數(shù)的道路拋灑物檢測(cè)與識(shí)別模型，成本較低，實(shí)現(xiàn)方式簡(jiǎn)便，同時(shí)本發(fā)明方法在小尺寸目標(biāo)的檢測(cè)和識(shí)別上效果較好，可以達(dá)到實(shí)時(shí)運(yùn)行的效果，能夠在對(duì)道路拋灑物檢測(cè)和識(shí)別基礎(chǔ)上進(jìn)行道路拋灑物的掩膜分割，可以輸出道路拋灑物類別信息、位置信息與大致形狀特征，具有識(shí)別精度高、可擴(kuò)展性強(qiáng)、抗復(fù)雜道路交通環(huán)境干擾性強(qiáng)的特點(diǎn)。

技術(shù)方案：為實(shí)現(xiàn)上述目的，本發(fā)明提供一種基于優(yōu)化交并比函數(shù)的道路拋灑物檢測(cè)與識(shí)別方法，包括如下步驟：

S1：搭建基于優(yōu)化交并比函數(shù)的道路拋灑物檢測(cè)與識(shí)別模型；

S2：采集道路交通監(jiān)控視頻并進(jìn)行分幀處理生成道路拋灑物數(shù)據(jù)集，對(duì)道路拋灑物數(shù)據(jù)集中的圖像按比例劃分存儲(chǔ)為測(cè)試集圖像和訓(xùn)練集圖像，對(duì)訓(xùn)練集圖像進(jìn)行標(biāo)注，生成json格式的標(biāo)簽文件；

S3：將訓(xùn)練集全部圖像和標(biāo)簽文件輸入步驟S1的道路拋灑物檢測(cè)與識(shí)別模型中進(jìn)行訓(xùn)練，得到訓(xùn)練好的模型；

S4：將道路交通監(jiān)控視頻分幀處理得到的測(cè)試集圖像輸入訓(xùn)練好的道路拋灑物檢測(cè)與識(shí)別模型進(jìn)行檢測(cè)識(shí)別，輸出對(duì)于道路拋灑物的檢測(cè)識(shí)別結(jié)果。

進(jìn)一步的，所述步驟S1中基于優(yōu)化交并比函數(shù)的道路拋灑物檢測(cè)與識(shí)別模型的搭建方法包括如下步驟：

A1：構(gòu)建基于空洞卷積優(yōu)化的主干神經(jīng)網(wǎng)絡(luò)，主干神經(jīng)網(wǎng)絡(luò)通過(guò)對(duì)輸入的訓(xùn)練集中的圖像進(jìn)行卷積得到輸入圖像中的特征圖，提取出的特征圖作為后續(xù)處理的輸入；

A2：構(gòu)建多尺度處理模塊，使用特征金字塔網(wǎng)絡(luò)FPN進(jìn)行多尺度處理；在進(jìn)行道路拋灑物檢測(cè)識(shí)別的場(chǎng)景中，使用FPN能發(fā)揮其多尺度識(shí)別的優(yōu)勢(shì)，在很大程度上緩解模糊性。

A3：構(gòu)建基于優(yōu)化交并比函數(shù)的目標(biāo)檢測(cè)與識(shí)別算法，目標(biāo)檢測(cè)與識(shí)別算法通過(guò)對(duì)經(jīng)過(guò)多尺度處理的特征圖進(jìn)行目標(biāo)檢測(cè)與識(shí)別，得到邊界框bounding box信息與目標(biāo)的類別信息；