[發(fā)明專(zhuān)利]一種基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)邊界實(shí)時(shí)檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010556830.8
• 申請(qǐng)日: 2020-06-18
• 公開(kāi)（公告）號(hào): CN111753956B
• 公開(kāi)（公告）日: 2022-08-12
• 發(fā)明（設(shè)計(jì)）人: 徐秋石;岳文靜;陳志;熊禮亮
• 申請(qǐng)（專(zhuān)利權(quán)）人: 南京郵電大學(xué)
• 主分類(lèi)號(hào): G06N3/04
• 分類(lèi)號(hào): G06N3/04;G06N3/08
• 代理公司: 南京瑞弘專(zhuān)利商標(biāo)事務(wù)所(普通合伙) 32249
• 代理人: 秦秋星

本發(fā)明公開(kāi)一種基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)邊界實(shí)時(shí)檢測(cè)方法，首先輸入圖片，提取該圖片的特征圖，預(yù)測(cè)邊界框坐標(biāo)和置信評(píng)分預(yù)測(cè)值。然后通過(guò)特征圖得到引用邊界框坐標(biāo)，根據(jù)預(yù)測(cè)邊界框坐標(biāo)和引用邊界框坐標(biāo)計(jì)算出相關(guān)邊界框坐標(biāo)和實(shí)際邊界框坐標(biāo)，計(jì)算相關(guān)邊界框和實(shí)際邊界框的重疊值，對(duì)具有最大重疊部分的實(shí)際邊界框設(shè)置最大重疊標(biāo)記。最后根據(jù)重疊值，最大重疊標(biāo)記和置信評(píng)分預(yù)測(cè)值計(jì)算引用邊界框的置信評(píng)分，保留前N個(gè)具有最高置信評(píng)分的引用邊界框，過(guò)濾其他邊界框，得到最終結(jié)果。本發(fā)明將卷積神經(jīng)網(wǎng)絡(luò)用來(lái)提取特征圖和作為輸出層去計(jì)算邊界框坐標(biāo)和置信評(píng)分，通過(guò)多任務(wù)的損失函數(shù)訓(xùn)練卷積層，有效提高卷積神經(jīng)網(wǎng)絡(luò)的運(yùn)行效率和計(jì)算精度。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)邊界實(shí)時(shí)檢測(cè)方法，屬于計(jì)算機(jī)視覺(jué)、模式識(shí)別、機(jī)器學(xué)習(xí)等交叉技術(shù)領(lǐng)域。

背景技術(shù)

近年來(lái)，目標(biāo)檢測(cè)成為計(jì)算機(jī)視覺(jué)領(lǐng)域中的一個(gè)應(yīng)用，對(duì)目標(biāo)的檢測(cè)除了要求很高的準(zhǔn)確度外，對(duì)檢測(cè)速度的要求也越來(lái)越高。目標(biāo)檢測(cè)在日常生活中的應(yīng)用越來(lái)越廣泛，具有重要的理論意義與實(shí)際應(yīng)用價(jià)值。

模式識(shí)別是通過(guò)計(jì)算機(jī)用數(shù)學(xué)技術(shù)方法來(lái)研究模式的自動(dòng)處理和判讀，而信息處理過(guò)程的一個(gè)重要形式是生命體對(duì)環(huán)境及客體的識(shí)別，特別重要的是對(duì)光學(xué)信息和聲學(xué)信息的識(shí)別。計(jì)算機(jī)視覺(jué)主要研究的就是對(duì)光學(xué)信息的識(shí)別。

近年來(lái)興起的卷積神經(jīng)網(wǎng)絡(luò)是一類(lèi)包含卷積計(jì)算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)，是深度學(xué)習(xí)的代表算法之一，卷積神經(jīng)網(wǎng)絡(luò)仿造生物的視知覺(jué)機(jī)制構(gòu)建，可以進(jìn)行監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)，其隱含層內(nèi)的卷積核參數(shù)共享和層間連接的稀疏性使得卷積神經(jīng)網(wǎng)絡(luò)能夠以較小的計(jì)算量對(duì)格點(diǎn)化特征進(jìn)行學(xué)習(xí)、有穩(wěn)定的效果且對(duì)數(shù)據(jù)沒(méi)有額外的特征工程要求。

卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)一般分為輸入層，隱含層和輸出層。輸入層可以處理多維數(shù)據(jù)，由于使用梯度下降進(jìn)行學(xué)習(xí)，輸入特征需要進(jìn)行標(biāo)準(zhǔn)化處理；隱含層包含卷積層、池化層和全連接層3類(lèi)常見(jiàn)構(gòu)筑；輸出層的上游通常是全連接層，因此其結(jié)構(gòu)和工作原理與傳統(tǒng)前饋神經(jīng)網(wǎng)絡(luò)中的輸出層相同，對(duì)于圖像分類(lèi)問(wèn)題，輸出層使用邏輯函數(shù)或歸一化指數(shù)函數(shù)輸出分類(lèi)標(biāo)簽，而在物體識(shí)別問(wèn)題中，輸出層還可設(shè)計(jì)為輸出物體的中心坐標(biāo)、大小和分類(lèi)等。

對(duì)目標(biāo)的實(shí)時(shí)檢測(cè)依賴(lài)于系統(tǒng)對(duì)環(huán)境的精準(zhǔn)感知，即準(zhǔn)確實(shí)時(shí)地檢測(cè)出對(duì)象，這一要求不僅需要系統(tǒng)有足夠的精度，也需要足夠的速度。最近很多研究人員專(zhuān)注于提高神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確度，提出了多種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)來(lái)提高精度，同時(shí)降低能耗，對(duì)準(zhǔn)確度的提升有很大幫助。

基于上述研究成果，本發(fā)明提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)邊界實(shí)時(shí)檢測(cè)方法，旨在使模型在訓(xùn)練過(guò)程中能更高效地檢測(cè)對(duì)象。

發(fā)明內(nèi)容

技術(shù)問(wèn)題：本發(fā)明的目的在于提供一種利用卷積神經(jīng)網(wǎng)絡(luò)更高效快速的完成目標(biāo)實(shí)時(shí)檢測(cè)的方法，該方法中的卷積神經(jīng)網(wǎng)絡(luò)同時(shí)用來(lái)提取特征圖和作為輸出層去計(jì)算結(jié)果，再通過(guò)多任務(wù)的損失函數(shù)訓(xùn)練卷積層，從而提高卷積神經(jīng)網(wǎng)絡(luò)的運(yùn)行效率和計(jì)算精度。

技術(shù)方案：本發(fā)明的一種基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)邊界實(shí)時(shí)檢測(cè)方法包括以下步驟：

步驟1)將一張圖片輸入YOLO(You Only Look Once)網(wǎng)絡(luò)，輸出只含像素值的特征圖，預(yù)測(cè)邊界框坐標(biāo)和置信評(píng)分預(yù)測(cè)值；

步驟2)以步驟1)中的特征圖的左上角為原點(diǎn)，橫向?yàn)閤軸，縱向?yàn)閥軸建立二維坐標(biāo)系，將特征圖分成W×H個(gè)均勻分布的長(zhǎng)寬相等的網(wǎng)格，W和H 分別是沿水平方向和垂直方向的網(wǎng)格數(shù)，在每個(gè)網(wǎng)格上計(jì)算K個(gè)引用邊界框的坐標(biāo)，K為預(yù)先設(shè)定的值，位置(i，j)網(wǎng)格上的引用邊界框坐標(biāo)為其中分別是第i行第j個(gè)網(wǎng)格的中心點(diǎn)的橫坐標(biāo)和縱坐標(biāo)，分別是第k個(gè)引用邊界框的寬和高，步驟1)中的預(yù)測(cè)邊界框坐標(biāo)表示方法是：位置(i， j)網(wǎng)格上的第k個(gè)預(yù)測(cè)邊界框的坐標(biāo)為