[發(fā)明專(zhuān)利]基于動(dòng)態(tài)標(biāo)簽分配的圖像目標(biāo)檢測(cè)方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202111600152.1
• 申請(qǐng)日: 2021-12-24
• 公開(kāi)（公告）號(hào): CN114266940A
• 公開(kāi)（公告）日: 2022-04-01
• 發(fā)明（設(shè)計(jì)）人: 張清凌;張斐釗;莫澤文
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中山大學(xué)
• 主分類(lèi)號(hào): G06V10/774
• 分類(lèi)號(hào): G06V10/774;G06V10/776;G06V10/82;G06V10/25;G06V20/13;G06N3/04;G06N3/08;G06K9/62
• 代理公司: 長(zhǎng)沙國(guó)科天河知識(shí)產(chǎn)權(quán)代理有限公司 43225
• 代理人: 趙小龍

1.一種基于動(dòng)態(tài)標(biāo)簽分配的圖像目標(biāo)檢測(cè)方法，其特征在于，包括如下步驟：

步驟1，對(duì)標(biāo)注有待檢測(cè)目標(biāo)的圖像進(jìn)行預(yù)處理，得到訓(xùn)練圖像與驗(yàn)證圖像，并將所述訓(xùn)練圖像收集至訓(xùn)練圖像集，將所述驗(yàn)證圖像收集至驗(yàn)證圖像集；

步驟2，構(gòu)建基于SparseRCNN網(wǎng)絡(luò)的端到端目標(biāo)檢測(cè)模型，并對(duì)端到端目標(biāo)檢測(cè)模型進(jìn)行改進(jìn)，包括歸一化改進(jìn)以及基于回歸狀態(tài)的動(dòng)態(tài)標(biāo)簽分配方式改進(jìn)；

步驟3，通過(guò)訓(xùn)練圖像集迭代訓(xùn)練改進(jìn)后的端到端目標(biāo)檢測(cè)模型，并在每輪迭代中利用驗(yàn)證圖像集對(duì)端到端目標(biāo)檢測(cè)模型進(jìn)行精度驗(yàn)證，從得到的所有訓(xùn)練后的端到端目標(biāo)檢測(cè)模型中選擇驗(yàn)證精度最高的模型作為最優(yōu)目標(biāo)檢測(cè)模型；

步驟4，將所需檢測(cè)圖像作為所述最優(yōu)目標(biāo)檢測(cè)模型的輸入，并得到所述檢測(cè)圖像的目標(biāo)檢測(cè)結(jié)果。

2.根據(jù)權(quán)利要求1所述基于動(dòng)態(tài)標(biāo)簽分配的圖像目標(biāo)檢測(cè)方法，其特征在于，步驟1中，所述預(yù)處理為：對(duì)圖像進(jìn)行裁剪到規(guī)定尺寸后，進(jìn)行多尺度隨機(jī)縮放、圖像翻轉(zhuǎn)和圖像像素的歸一化，其中，訓(xùn)練圖像翻轉(zhuǎn)的概率為0.5，驗(yàn)證圖像不進(jìn)行圖像翻轉(zhuǎn)處理。

3.根據(jù)權(quán)利要求1所述基于動(dòng)態(tài)標(biāo)簽分配的圖像目標(biāo)檢測(cè)方法，其特征在于，步驟3具體為：

將端到端目標(biāo)檢測(cè)模型的backbone部分加載預(yù)訓(xùn)練權(quán)重，得到預(yù)訓(xùn)練后的目標(biāo)檢測(cè)模型；

采用AdamW優(yōu)化方法和多階段學(xué)習(xí)率調(diào)整策略對(duì)預(yù)訓(xùn)練后的端到端目標(biāo)檢測(cè)模型進(jìn)行迭代訓(xùn)練，得到若干訓(xùn)練后的端到端目標(biāo)檢測(cè)模型；

在每輪迭代中利用驗(yàn)證圖像集對(duì)端到端目標(biāo)檢測(cè)模型進(jìn)行精度驗(yàn)證，并從所有訓(xùn)練后的端到端目標(biāo)檢測(cè)模型中選擇驗(yàn)證精度最高的模型作為最優(yōu)目標(biāo)檢測(cè)模型。

4.根據(jù)權(quán)利要求3所述基于動(dòng)態(tài)標(biāo)簽分配的圖像目標(biāo)檢測(cè)方法，其特征在于，步驟3中，在得到最優(yōu)目標(biāo)檢測(cè)模型后，利用深度學(xué)習(xí)相關(guān)框架初始化所述最優(yōu)目標(biāo)檢測(cè)模型。

5.根據(jù)權(quán)利要求1至4任一項(xiàng)所述基于動(dòng)態(tài)標(biāo)簽分配的圖像目標(biāo)檢測(cè)方法，其特征在于，步驟2中，所述歸一化改進(jìn)具體為：

式中，Δx為歸一化后的橫坐標(biāo)誤差，x_g為ground-truth的橫坐標(biāo)，x_b為bounding box的橫坐標(biāo)，w_g為ground-truth的寬，Δy為歸一化后的縱坐標(biāo)誤差，y_g為ground-truth的縱坐標(biāo)，y_b為bounding box的縱坐標(biāo)，h_g為ground-truth的高。

6.根據(jù)權(quán)利要求5所述基于動(dòng)態(tài)標(biāo)簽分配的圖像目標(biāo)檢測(cè)方法，其特征在于，步驟2中，所述基于回歸狀態(tài)的動(dòng)態(tài)標(biāo)簽分配方式改進(jìn)為：

在代價(jià)矩陣對(duì)每個(gè)bounding box的代價(jià)計(jì)算過(guò)程中，根據(jù)每個(gè)bounding box的回歸狀態(tài)動(dòng)態(tài)調(diào)整對(duì)應(yīng)的權(quán)重，具體為：

式中，Cost_giou為giou代價(jià)項(xiàng)，Cost_l1為L(zhǎng)1代價(jià)項(xiàng)，w_giou為giou代價(jià)項(xiàng)的初始設(shè)定權(quán)重，w_l1為L(zhǎng)1代價(jià)項(xiàng)的初始設(shè)定權(quán)重，error_l1為Δx的絕對(duì)值與Δy的絕對(duì)值之和，α、β為超參數(shù)。

7.一種基于動(dòng)態(tài)標(biāo)簽分配的圖像目標(biāo)檢測(cè)裝置，其特征在于，所述圖像目標(biāo)檢測(cè)裝置采用權(quán)利要求1至6任一項(xiàng)所述方法對(duì)圖像目標(biāo)進(jìn)行檢測(cè)。

8.根據(jù)權(quán)利要求7所述基于動(dòng)態(tài)標(biāo)簽分配的圖像目標(biāo)檢測(cè)裝置，其特征在于，所述圖像目標(biāo)檢測(cè)裝置包括：

圖像處理模塊，用于對(duì)標(biāo)注有待檢測(cè)目標(biāo)的圖像進(jìn)行預(yù)處理，得到訓(xùn)練圖像與驗(yàn)證圖像，并將所述訓(xùn)練圖像收集至訓(xùn)練圖像集，將所述驗(yàn)證圖像收集至驗(yàn)證圖像集；

模型構(gòu)建模塊，用于對(duì)基于SparseRCNN網(wǎng)絡(luò)的端到端目標(biāo)檢測(cè)模型進(jìn)行改進(jìn)，構(gòu)建改進(jìn)后的端到端目標(biāo)檢測(cè)模型，其中，對(duì)端到端目標(biāo)檢測(cè)模型的改進(jìn)包括歸一化改進(jìn)以及基于回歸狀態(tài)的標(biāo)簽分配方式改進(jìn)；

模型訓(xùn)練模塊，用于利用訓(xùn)練圖像集迭代訓(xùn)練改進(jìn)后的端到端目標(biāo)檢測(cè)模型，并在每輪迭代中利用驗(yàn)證圖像集對(duì)端到端目標(biāo)檢測(cè)模型進(jìn)行精度驗(yàn)證，從得到的所有訓(xùn)練后的端到端目標(biāo)檢測(cè)模型中選擇驗(yàn)證精度最高的模型作為最優(yōu)目標(biāo)檢測(cè)模型；

目標(biāo)檢測(cè)模塊，用于將所需檢測(cè)圖像作為所述最優(yōu)目標(biāo)檢測(cè)模型的輸入，并得到所述檢測(cè)圖像的目標(biāo)檢測(cè)結(jié)果。