[發(fā)明專利]一種基于域自適應(yīng)學(xué)習(xí)的多復(fù)雜場景目標(biāo)檢測方法

在審

• 申請?zhí)枺?/td>: 202011278312.0
• 申請日: 2020-11-16
• 公開（公告）號(hào): CN112434586A
• 公開（公告）日: 2021-03-02
• 發(fā)明（設(shè)計(jì)）人: 蘇卓;湯成熙;周凡;林格
• 申請（專利權(quán)）人: 中山大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明公開了一種基于域自適應(yīng)學(xué)習(xí)的多復(fù)雜場景目標(biāo)檢測方法。首先收集得到通用目標(biāo)檢測圖像集、降質(zhì)場景圖像集；之后利用通用目標(biāo)檢測圖像集預(yù)訓(xùn)練目標(biāo)檢測網(wǎng)絡(luò)YOLOv3，然后在此基礎(chǔ)上嵌入域自適應(yīng)模塊，再利用通用目標(biāo)檢測圖像集、降質(zhì)場景圖像集對其重新進(jìn)行訓(xùn)練，得到最終的多復(fù)雜場景目標(biāo)檢測網(wǎng)絡(luò)；輸入待檢測目標(biāo)的圖像即可計(jì)算出圖像中物體的類別以及位置。本發(fā)明能夠針對多種不同的降質(zhì)場景進(jìn)行目標(biāo)檢測，適用性廣；能夠在確保檢測精度的前提下，實(shí)時(shí)對圖像中的目標(biāo)作出檢測；采用了自適應(yīng)學(xué)習(xí)的方法，降低了通用圖像與多種不同降質(zhì)場景圖像的域間差異，使得目標(biāo)檢測能夠同時(shí)在多種場景的圖像上表現(xiàn)良好。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺技術(shù)領(lǐng)域，具體涉及一種基于域自適應(yīng)學(xué)習(xí)的多復(fù)雜場景目標(biāo)檢測方法。

背景技術(shù)

視頻監(jiān)控、無人駕駛、無人機(jī)等新興人工智能應(yīng)用都基于戶外場景。戶外場景相比于室內(nèi)場景更加復(fù)雜多變。在雨、霧、雪等惡劣天氣、光照變化等典型的戶外場景中，均會(huì)出現(xiàn)獲取的圖像能見度降低，模糊，對比度下降等圖片質(zhì)量下降的現(xiàn)象。這會(huì)給計(jì)算機(jī)視覺的圖像分類、檢測、分割等上游問題帶來很大的挑戰(zhàn)。

隨著深度學(xué)習(xí)技術(shù)的興起，基于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的目標(biāo)檢測技術(shù)相比傳統(tǒng)的圖像處理方法得到了顯著的提升。現(xiàn)有的目標(biāo)檢測方法根據(jù)是否進(jìn)行區(qū)域推薦可以分為兩大類：(1)two-stage的Faster R-CNN，先通過區(qū)域推薦網(wǎng)絡(luò)生成前景物體的候選區(qū)域，再對這些區(qū)域進(jìn)行分類預(yù)測，通常能夠獲得更高的檢測性能；(2)One-stage的方法有yolo系列、Retina-Net等，不需要進(jìn)行區(qū)域推薦，通過神經(jīng)網(wǎng)絡(luò)直接產(chǎn)生物體的分類預(yù)測和位置信息，通常具有更快的檢測速度。

現(xiàn)有的目標(biāo)檢測方法的高檢測性能，大部分建立在物體輪廓清晰、遮擋較少以及照明良好的通用圖像數(shù)據(jù)集，例如PASCAL VOC數(shù)據(jù)集以及COCO數(shù)據(jù)集。如果將這些目標(biāo)檢測方法直接應(yīng)用于實(shí)際，就會(huì)因?yàn)橛?xùn)練數(shù)據(jù)集與測試數(shù)據(jù)集分布差異較大，使得檢測性能明顯下降。

目前的現(xiàn)有技術(shù)之一，專利“面向復(fù)雜場景的車牌識(shí)別方法及裝置”，利用YOLOv3檢測網(wǎng)絡(luò)對復(fù)雜場景的車牌進(jìn)行識(shí)別。利用神經(jīng)網(wǎng)絡(luò)的高檢測精度直接得到檢測結(jié)果。在該方法的基礎(chǔ)上，可以通過人工收集或者合成的方法，增加不同場景下的數(shù)據(jù)，豐富訓(xùn)練集，從而提高目標(biāo)檢測的精度。該方法的缺點(diǎn)是，當(dāng)前各種惡劣場景下的數(shù)據(jù)集資料不夠豐富，如果要對新的數(shù)據(jù)進(jìn)行標(biāo)注需要花費(fèi)大量的時(shí)間和精力。如果通過合成的方法增加數(shù)據(jù)，可以在一定程度上提高目標(biāo)檢測的精度，但是合成的圖像與真實(shí)的圖像之間仍然面臨分布不一致的問題。

目前的現(xiàn)有技術(shù)之二，Li等人在論文“Aod-net:All-in-one dehazing network”中的方法，首先通過圖像復(fù)原的方法，將降質(zhì)圖像通過神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)化為清晰圖像，之后再利用現(xiàn)有的目標(biāo)檢測方法對清晰圖像進(jìn)行目標(biāo)檢測。其步驟為：假設(shè)有霧圖遵循大氣光散射模型；輸入有霧圖到一個(gè)輕量級的神經(jīng)網(wǎng)絡(luò)AOD-Net中，估計(jì)大氣光散射模型的參數(shù)；根據(jù)該參數(shù)結(jié)合模型求得清晰的無霧圖；將無霧圖輸入到現(xiàn)有的Faster R-CNN網(wǎng)絡(luò)中進(jìn)行目標(biāo)檢測。該方法的缺點(diǎn)是將圖像復(fù)原與目標(biāo)檢測看作兩個(gè)不同的任務(wù)，而在圖像復(fù)原的方法中使用的是圖像質(zhì)量相關(guān)的評價(jià)指標(biāo)，沒有對目標(biāo)檢測相關(guān)任務(wù)進(jìn)行約束。這可能會(huì)導(dǎo)致圖像復(fù)原的過程中，對目標(biāo)檢測有用的那部分信息丟失，甚至引入錯(cuò)誤的信息，使得目標(biāo)檢測效果不增反減。

目前的現(xiàn)有技術(shù)之三，Chen等人在論文“Domain Adaptive Faster R-CNN forObject Detection in the Wild”中的方法，通過域自適應(yīng)學(xué)習(xí)的方法，旨在解決目標(biāo)檢測中訓(xùn)練數(shù)據(jù)與真實(shí)場景不一致的問題。現(xiàn)有的通用數(shù)據(jù)集作為源域，現(xiàn)實(shí)復(fù)雜場景作為目標(biāo)域，進(jìn)行遷移學(xué)習(xí)。在Faster-RCNN的基礎(chǔ)上，設(shè)計(jì)了特征圖級別和實(shí)例級別的兩個(gè)域自適應(yīng)模塊，通過域類別分類器和梯度反轉(zhuǎn)層結(jié)合的方法，降低了源域和目標(biāo)域在特征圖級別和實(shí)例級別的差異。該方法的缺點(diǎn)是僅考慮了在單一場景下的域自適應(yīng)學(xué)習(xí)問題，而沒有考慮多場景下的目標(biāo)檢測問題。引起圖像質(zhì)量降低的場景有多種，不同場景下數(shù)據(jù)的分布不同，如果簡單的將降質(zhì)圖像歸為同一類，容易出現(xiàn)域偏移的現(xiàn)象。