[發(fā)明專利]基于稀疏標(biāo)注數(shù)據(jù)集的新型目標(biāo)檢測(cè)方法與系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202310174614.0
• 申請(qǐng)日: 2023-02-16
• 公開(kāi)（公告）號(hào): CN116342971A
• 公開(kāi)（公告）日: 2023-06-27
• 發(fā)明（設(shè)計(jì)）人: 李特;顧建軍;吳連俊;王興剛
• 申請(qǐng)（專利權(quán)）人: 之江實(shí)驗(yàn)室;華中科技大學(xué)
• 主分類號(hào): G06V10/774
• 分類號(hào): G06V10/774;G06V10/764;G06V10/82;G06N3/0464;G06N3/09
• 代理公司: 深圳市六加知識(shí)產(chǎn)權(quán)代理有限公司 44372
• 代理人: 向彬

本發(fā)明公開(kāi)了一種基于稀疏標(biāo)注數(shù)據(jù)集的新型目標(biāo)檢測(cè)系統(tǒng)，教師檢測(cè)器在訓(xùn)練期間不回傳梯度，而僅在每次訓(xùn)練迭代結(jié)束時(shí)通過(guò)指數(shù)滑動(dòng)平均方式更新參數(shù)，由指數(shù)滑動(dòng)平均更新的教師檢測(cè)器是雙輸入端口的副教師檢測(cè)器的平滑版本；教師檢測(cè)器輸入圖像是原始圖像，即原始圖像被饋送到教師檢測(cè)器以生成教師偽標(biāo)簽集，弱增強(qiáng)和強(qiáng)增強(qiáng)圖像被饋送到兩個(gè)輸入端口的副教師檢測(cè)器以生成原始偽標(biāo)簽集；每個(gè)原始偽標(biāo)簽集由教師檢測(cè)器的輸出的偽標(biāo)簽集聯(lián)合稀疏標(biāo)注框進(jìn)行修正和整合，最后用修正整合完的標(biāo)注框?qū)Ω苯處煓z測(cè)器的預(yù)測(cè)輸出進(jìn)行監(jiān)督。本發(fā)明還公開(kāi)了相應(yīng)的基于稀疏標(biāo)注數(shù)據(jù)集的新型目標(biāo)檢測(cè)方法。

技術(shù)領(lǐng)域

本發(fā)明屬于深度學(xué)習(xí)和計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域，更具體的，涉及一種基于稀疏標(biāo)注數(shù)據(jù)集的新型目標(biāo)檢測(cè)方法與系統(tǒng)。

背景技術(shù)

目標(biāo)檢測(cè)作為計(jì)算機(jī)視覺(jué)的基本任務(wù)，要求檢測(cè)器預(yù)測(cè)輸出圖像中所有前景目標(biāo)的邊界框和目標(biāo)類別。近來(lái)，隨著深度卷積神經(jīng)網(wǎng)絡(luò)的快速發(fā)展，出現(xiàn)了大量目標(biāo)檢測(cè)方法，這些方法的性能很大程度上依賴于完全標(biāo)注的目標(biāo)檢測(cè)數(shù)據(jù)集。然而，對(duì)每個(gè)圖像中可能存在的前景目標(biāo)進(jìn)行詳盡的標(biāo)記既困難又昂貴，而且不完整的框標(biāo)注往往會(huì)導(dǎo)致目標(biāo)檢測(cè)器性能的下降。

常用的目標(biāo)檢測(cè)器通常能在完全標(biāo)注數(shù)據(jù)集的監(jiān)督學(xué)習(xí)下獲得很好的結(jié)果。但是，當(dāng)數(shù)據(jù)集包含大量圖像和類別時(shí)，標(biāo)注所有給定的目標(biāo)實(shí)例(尤其是在擁擠的場(chǎng)景中)變得非常困難。在工業(yè)數(shù)據(jù)集中，標(biāo)注的成本和標(biāo)注的難度往往會(huì)很大程度上影響數(shù)據(jù)集標(biāo)注的質(zhì)量，而對(duì)于標(biāo)注不完全，即存在稀疏標(biāo)注的數(shù)據(jù)集來(lái)說(shuō)，采用一般的目標(biāo)檢測(cè)方法得到的結(jié)果往往不盡人意，因?yàn)槲礃?biāo)記的物體將在訓(xùn)練期間對(duì)檢測(cè)器提供不正確的監(jiān)督信號(hào)，檢測(cè)器將逐漸收斂到次優(yōu)超平面，該超平面趨向于將標(biāo)記對(duì)象與未標(biāo)記對(duì)象和背景分離。因此，與將前景對(duì)象與背景區(qū)域分離相比，由于存在更多的噪聲，檢測(cè)器更可能過(guò)擬合到一個(gè)次優(yōu)超平面。傳統(tǒng)的做法是擬定更加精細(xì)的標(biāo)注策略，增加標(biāo)注人員和標(biāo)注時(shí)間來(lái)提高標(biāo)注質(zhì)量，從而提高目標(biāo)檢測(cè)器的性能；但是，這樣的做法不僅需要大量的人力資源，還需要高昂的時(shí)間成本，會(huì)大幅度拉長(zhǎng)項(xiàng)目、工程的周期。

現(xiàn)有的技術(shù)方案在稀疏標(biāo)注的數(shù)據(jù)集中雖然也能獲得性能不錯(cuò)的目標(biāo)檢測(cè)器，但或多或少存在著一些問(wèn)題?；趦杉?jí)檢測(cè)器的Soft-Sampling方法，將第二級(jí)中每個(gè)感興趣區(qū)域的回傳梯度根據(jù)其與標(biāo)注框的重疊度的龔伯茲函數(shù)進(jìn)行降權(quán)。然而，這種方法也會(huì)減少來(lái)自真實(shí)背景的梯度，給網(wǎng)絡(luò)學(xué)習(xí)帶來(lái)負(fù)面影響。PPM將孿生網(wǎng)絡(luò)引入兩級(jí)檢測(cè)器，并將孿生網(wǎng)絡(luò)的兩個(gè)區(qū)域生成網(wǎng)絡(luò)融合成一個(gè)區(qū)域生成網(wǎng)絡(luò)以獲得感興趣區(qū)域。然后，他們將具有高對(duì)象性得分以及與標(biāo)注框間有低交并比值的感興趣區(qū)域作為第二階段訓(xùn)練過(guò)程的未標(biāo)注實(shí)例對(duì)象。該方法依賴于在稀疏標(biāo)注數(shù)據(jù)集中表現(xiàn)依然較穩(wěn)定的區(qū)域生成網(wǎng)絡(luò)，并不適用于單級(jí)檢測(cè)器。盡管兩級(jí)檢測(cè)器對(duì)于注釋稀少的環(huán)境具有方法上的魯棒性，但它們通常需要更高分辨率的圖片輸入，使得它們比一級(jí)檢測(cè)器慢。此外，他們必須調(diào)整更多預(yù)定義和手動(dòng)設(shè)計(jì)的超參數(shù)，以實(shí)現(xiàn)最佳性能。

BRL(Background?Recalibration?Loss，背景重新校準(zhǔn)損失)和Co-mining繼承了單級(jí)檢測(cè)器的高效率和簡(jiǎn)單性。前者重新設(shè)計(jì)了單級(jí)檢測(cè)器的FocalLoss損失函數(shù)，以減少錯(cuò)誤監(jiān)管的負(fù)面影響。后者將孿生網(wǎng)絡(luò)引入單級(jí)檢測(cè)器的稀疏標(biāo)注目標(biāo)檢測(cè)問(wèn)題，通過(guò)兩個(gè)共享參數(shù)的編碼器從兩個(gè)不同的數(shù)據(jù)增強(qiáng)輸入圖像中提取特征。每個(gè)分支生成偽標(biāo)簽，并將它們與稀疏注釋合并，互相作為兩分支彼此的監(jiān)督信號(hào)。這一策略在單級(jí)檢測(cè)器的稀疏標(biāo)注目標(biāo)檢測(cè)任務(wù)上獲得了不錯(cuò)的結(jié)果，但仍存在兩個(gè)尚未得到充分考慮的關(guān)鍵問(wèn)題：模糊和顏色抖動(dòng)等簡(jiǎn)單的數(shù)據(jù)增強(qiáng)方法是否足以挖掘更多可以通過(guò)學(xué)習(xí)不同的多視圖特征表示對(duì)模型訓(xùn)練過(guò)程產(chǎn)生積極影響的偽標(biāo)簽；如何處理在單級(jí)檢測(cè)器的稀疏標(biāo)注目標(biāo)檢測(cè)算法中生成的錯(cuò)誤偽標(biāo)簽。

發(fā)明內(nèi)容

本發(fā)明主要涉及的領(lǐng)域?yàn)橄∈铇?biāo)注數(shù)據(jù)集上的目標(biāo)檢測(cè)，具體來(lái)說(shuō)是在有部分遺漏標(biāo)注的目標(biāo)檢測(cè)訓(xùn)練數(shù)據(jù)集中訓(xùn)練以獲得一個(gè)高性能的目標(biāo)檢測(cè)器。本發(fā)明的目的在于開(kāi)發(fā)一個(gè)在稀疏標(biāo)注數(shù)據(jù)集中訓(xùn)練的性能更好的單級(jí)目標(biāo)檢測(cè)器算法。該算法旨在解決過(guò)去的算法中雙分支生成的偽標(biāo)簽差異性小和存在錯(cuò)誤類別標(biāo)記或錯(cuò)誤位置標(biāo)記的偽標(biāo)簽的問(wèn)題，以提升在稀疏標(biāo)注目標(biāo)檢測(cè)任務(wù)中單級(jí)目標(biāo)檢測(cè)器的性能。