[發(fā)明專利]基于動態(tài)標(biāo)簽分配的圖像目標(biāo)檢測方法及裝置

在審

• 申請?zhí)枺?/td>: 202111600152.1
• 申請日: 2021-12-24
• 公開（公告）號: CN114266940A
• 公開（公告）日: 2022-04-01
• 發(fā)明（設(shè)計）人: 張清凌;張斐釗;莫澤文
• 申請（專利權(quán)）人: 中山大學(xué)
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/776;G06V10/82;G06V10/25;G06V20/13;G06N3/04;G06N3/08;G06K9/62
• 代理公司: 長沙國科天河知識產(chǎn)權(quán)代理有限公司 43225
• 代理人: 趙小龍

本發(fā)明公開了一種基于動態(tài)標(biāo)簽分配的圖像目標(biāo)檢測方法及裝置，該裝置包括圖像處理模塊、模型構(gòu)建模塊、模型訓(xùn)練模塊、目標(biāo)檢測模塊，其中，模型構(gòu)建模塊通過端到端目標(biāo)檢測模型的歸一化方式以及標(biāo)簽分配方式進行改進，構(gòu)建改進后的端到端目標(biāo)檢測模型，通過訓(xùn)練得到的最優(yōu)目標(biāo)檢測模型對圖像進行目標(biāo)檢測。本發(fā)明應(yīng)用于計算機視覺技術(shù)領(lǐng)域，使得端到端目標(biāo)檢測模型能夠在避免人工后處理帶來的問題的同時，提升其目前在標(biāo)簽分配方式和不同尺度目標(biāo)檢測方面的性能，實現(xiàn)了檢測精度的提高。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機視覺技術(shù)領(lǐng)域，具體是一種基于動態(tài)標(biāo)簽分配的圖像目標(biāo)檢測方法及裝置。

背景技術(shù)

目標(biāo)檢測是計算機視覺的重要任務(wù)，是許多其他計算機視覺任務(wù)的基礎(chǔ)，比如：實例分割、目標(biāo)跟蹤和姿態(tài)估計。深度學(xué)習(xí)的飛速發(fā)展使得目標(biāo)檢測獲得了重大突破，并成為了研究的熱點。

對衛(wèi)星圖像中的機場飛機進行目標(biāo)檢測有重大軍事意義，其可以獲取軍事活動情報、評估敵軍機場的重要程度，為實施精準(zhǔn)打擊提供依據(jù)。最近逐漸應(yīng)用計算機視覺技術(shù)，特別是深度學(xué)習(xí)相關(guān)方法，對衛(wèi)星圖像中的飛機進行目標(biāo)檢測。基于深度學(xué)習(xí)的方法按照標(biāo)簽匹配進行分類一般可以分為一對多標(biāo)簽匹配和一對一標(biāo)簽匹配的目標(biāo)檢測方法。經(jīng)典的目標(biāo)檢測方法如Faster R-CNN、YOLO系列和RetinaNet等使用一對多的標(biāo)簽匹配策略，但是這種策略需要進行NMS后處理，導(dǎo)致在一些特定場景，如機場、港口與停車場等密集場景出現(xiàn)檢測性能下降的問題。一對一標(biāo)簽匹配的目標(biāo)檢測方法又因其不需要NMS后處理被稱為端到端目標(biāo)檢測方法，主要包括DETR、DeformableDETR和SparseRCNN等，采用端到端目標(biāo)檢測方法可以在避免由NMS帶來的弊端。然而端到端目標(biāo)檢測方法標(biāo)簽匹配仍采用固定標(biāo)簽分配策略，導(dǎo)致不能根據(jù)不同的訓(xùn)練狀態(tài)動態(tài)地調(diào)整標(biāo)簽分配策略；另外目前端到端目標(biāo)檢測方法中，在計算cost和loss采用使用圖像的尺寸對groundtruth進行歸一化，不能反映不同尺度目標(biāo)的真實回歸狀態(tài)。因此，現(xiàn)有端到端目標(biāo)檢測方法在標(biāo)簽分配方式、針對不同尺度目標(biāo)的檢測性能上仍有改進的空間。

發(fā)明內(nèi)容

針對上述現(xiàn)有技術(shù)中的不足，本發(fā)明提供一種基于動態(tài)標(biāo)簽分配的圖像目標(biāo)檢測方法及裝置，使得端到端目標(biāo)檢測模型能夠在避免人工后處理帶來的問題的同時，提升其目前在標(biāo)簽分配方式和不同尺度目標(biāo)檢測方面的性能。

為實現(xiàn)上述目的，本發(fā)明提供一種基于動態(tài)標(biāo)簽分配的圖像目標(biāo)檢測方法，包括如下步驟：

步驟1，對標(biāo)注有待檢測目標(biāo)的圖像進行預(yù)處理，得到訓(xùn)練圖像與驗證圖像，并將所述訓(xùn)練圖像收集至訓(xùn)練圖像集，將所述驗證圖像收集至驗證圖像集；

步驟2，構(gòu)建基于SparseRCNN網(wǎng)絡(luò)的端到端目標(biāo)檢測模型，并對端到端目標(biāo)檢測模型進行改進，包括歸一化改進以及基于回歸狀態(tài)的標(biāo)簽分配方式改進；

步驟3，通過訓(xùn)練圖像集迭代訓(xùn)練改進后的端到端目標(biāo)檢測模型，并在每輪迭代中利用驗證圖像集對端到端目標(biāo)檢測模型進行精度驗證，從得到的所有訓(xùn)練后的端到端目標(biāo)檢測模型中選擇驗證精度最高的模型作為最優(yōu)目標(biāo)檢測模型；

步驟4，將所需檢測圖像作為所述最優(yōu)目標(biāo)檢測模型的輸入，并得到所述檢測圖像的目標(biāo)檢測結(jié)果。

作為上述技術(shù)方案的進一步改進，步驟1中，所述預(yù)處理為：對圖像進行裁剪到規(guī)定尺寸后，進行多尺度隨機縮放、圖像翻轉(zhuǎn)和圖像像素的歸一化，其中，訓(xùn)練圖像翻轉(zhuǎn)的概率為0.5，驗證圖像不進行圖像翻轉(zhuǎn)處理。

作為上述技術(shù)方案的進一步改進，步驟3具體為：

將端到端目標(biāo)檢測模型的backbone部分加載預(yù)訓(xùn)練權(quán)重，得到預(yù)訓(xùn)練后的目標(biāo)檢測模型；

采用AdamW優(yōu)化方法和多階段學(xué)習(xí)率調(diào)整策略對預(yù)訓(xùn)練后的端到端目標(biāo)檢測模型進行迭代訓(xùn)練，得到若干訓(xùn)練后的端到端目標(biāo)檢測模型；