[發(fā)明專利]基于場(chǎng)景語義的目標(biāo)檢測(cè)方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110286154.1
• 申請(qǐng)日: 2021-03-17
• 公開（公告）號(hào): CN112966697B
• 公開（公告）日: 2022-03-11
• 發(fā)明（設(shè)計(jì)）人: 謝雪梅;劉卓;李旭陽
• 申請(qǐng)（專利權(quán)）人: 西安電子科技大學(xué)廣州研究院
• 主分類號(hào): G06V10/44
• 分類號(hào): G06V10/44;G06V10/764;G06V10/82;G06V10/25;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 麥小嬋;郝傳鑫

本發(fā)明公開了一種基于場(chǎng)景語義的目標(biāo)檢測(cè)方法、裝置、終端設(shè)備及存儲(chǔ)介質(zhì)，該方法包括：構(gòu)建目標(biāo)檢測(cè)模型；將訓(xùn)練圖像輸入特征圖提取網(wǎng)絡(luò)中，得到多尺度特征圖；將多尺度特征圖輸入場(chǎng)景語義特征提取網(wǎng)絡(luò)，得到場(chǎng)景語義特征；根據(jù)場(chǎng)景語義特征，計(jì)算場(chǎng)景預(yù)測(cè)的多標(biāo)簽分類損失；將多尺度特征圖輸入候選目標(biāo)特征提取網(wǎng)絡(luò)，得到候選目標(biāo)特征集合；將場(chǎng)景語義特征和候選目標(biāo)特征集合輸入融合網(wǎng)絡(luò)進(jìn)行融合，得到新候選目標(biāo)特征集合；再輸入檢測(cè)頭部網(wǎng)絡(luò)進(jìn)行分類與回歸操作，計(jì)算分類損失與回歸損失；聯(lián)合三個(gè)損失函數(shù)對(duì)目標(biāo)檢測(cè)模型進(jìn)行訓(xùn)練；將待測(cè)圖像輸入訓(xùn)練好的目標(biāo)檢測(cè)模型中，得到檢測(cè)結(jié)果。本發(fā)明能解決目前難以識(shí)別具有模糊外觀的目標(biāo)的問題。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺圖像目標(biāo)檢測(cè)領(lǐng)域，尤其涉及一種基于場(chǎng)景語義的目標(biāo)檢測(cè)方法、裝置、終端設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

在現(xiàn)有的目標(biāo)檢測(cè)方法中，大多通過卷積神經(jīng)網(wǎng)絡(luò)提取待測(cè)目標(biāo)的內(nèi)部特征，再對(duì)提取到的特征進(jìn)行分類，然后實(shí)現(xiàn)對(duì)待測(cè)目標(biāo)的檢測(cè)。但是，這些方法在檢測(cè)過程中卻忽略了全局的場(chǎng)景語義信息，而在現(xiàn)實(shí)場(chǎng)景中，目標(biāo)的出現(xiàn)往往與場(chǎng)景相關(guān)，使得現(xiàn)有的目標(biāo)檢測(cè)方法難以識(shí)別具有模糊或不明顯外觀的目標(biāo)。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例的目的是提出一種基于場(chǎng)景語義的目標(biāo)檢測(cè)方法、裝置、終端設(shè)備及存儲(chǔ)介質(zhì)，能充分利用場(chǎng)景語義信息，有效解決現(xiàn)有檢測(cè)方法中難以識(shí)別具有模糊外觀的目標(biāo)的問題。

為實(shí)現(xiàn)上述目的，本發(fā)明一實(shí)施例提供了一種基于場(chǎng)景語義的目標(biāo)檢測(cè)方法，包括：

構(gòu)建目標(biāo)檢測(cè)模型；其中，所述目標(biāo)檢測(cè)模型包括特征圖提取網(wǎng)絡(luò)、場(chǎng)景語義特征提取網(wǎng)絡(luò)、候選目標(biāo)特征提取網(wǎng)絡(luò)、融合網(wǎng)絡(luò)和檢測(cè)頭部網(wǎng)絡(luò)；

將訓(xùn)練圖像輸入所述特征圖提取網(wǎng)絡(luò)中，得到多尺度特征圖；

將所述多尺度特征圖輸入所述場(chǎng)景語義特征提取網(wǎng)絡(luò)，得到場(chǎng)景語義特征；

根據(jù)所述場(chǎng)景語義特征，計(jì)算場(chǎng)景預(yù)測(cè)的多標(biāo)簽分類損失；

將所述多尺度特征圖輸入所述候選目標(biāo)特征提取網(wǎng)絡(luò)，得到候選目標(biāo)特征集合；

將所述場(chǎng)景語義特征和所述候選目標(biāo)特征集合輸入所述融合網(wǎng)絡(luò)進(jìn)行融合，得到新候選目標(biāo)特征集合；

將所述新候選目標(biāo)特征集合和所述候選目標(biāo)特征集合輸入所述檢測(cè)頭部網(wǎng)絡(luò)進(jìn)行分類與回歸操作，計(jì)算對(duì)應(yīng)的分類損失與回歸損失；

聯(lián)合所述多標(biāo)簽分類損失、所述分類損失與所述回歸損失對(duì)所述目標(biāo)檢測(cè)模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的目標(biāo)檢測(cè)模型；

將待測(cè)圖像輸入訓(xùn)練好的目標(biāo)檢測(cè)模型中，得到所述待測(cè)圖像中待測(cè)目標(biāo)的類別信息和位置信息。

優(yōu)選地，所述根據(jù)所述場(chǎng)景語義特征，計(jì)算場(chǎng)景預(yù)測(cè)的多標(biāo)簽分類損失，具體包括：

將所述場(chǎng)景語義特征輸入兩層全連接層，輸出場(chǎng)景類別的預(yù)測(cè)值；

根據(jù)計(jì)算場(chǎng)景預(yù)測(cè)的多標(biāo)簽分類損失L_mll；其中，C為目標(biāo)檢測(cè)的類別總數(shù)，y^c為類別c的目標(biāo)是否出現(xiàn)在圖像中的標(biāo)簽值，為類別c的目標(biāo)是否出現(xiàn)在圖像中的預(yù)測(cè)值。

優(yōu)選地，所述將所述多尺度特征圖輸入所述候選目標(biāo)特征提取網(wǎng)絡(luò)，得到候選目標(biāo)特征集合，具體包括：

將所述多尺度特征圖輸入RPN網(wǎng)絡(luò)生成目標(biāo)Proposals，接著進(jìn)行ROI Align操作，接著經(jīng)過兩層全連接層得到所述候選目標(biāo)特征集合；

或者，將所述多尺度特征圖輸入4層卷積網(wǎng)絡(luò)，得到所述候選目標(biāo)特征集合。優(yōu)選地，所述將所述場(chǎng)景語義特征和所述候選目標(biāo)特征集合輸入所述融合網(wǎng)絡(luò)進(jìn)行融合，得到新候選目標(biāo)特征集合，具體包括：