[發(fā)明專利]一種基于對(duì)比損失的域自適應(yīng)物體檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010740512.7
• 申請(qǐng)日: 2020-07-28
• 公開(kāi)（公告）號(hào): CN111950608B
• 公開(kāi)（公告）日: 2021-05-04
• 發(fā)明（設(shè)計(jì)）人: 葉齊祥;劉峰;張小松;萬(wàn)方;季向陽(yáng)
• 申請(qǐng)（專利權(quán)）人: 中國(guó)科學(xué)院大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06T3/00
• 代理公司: 北京康思博達(dá)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11426
• 代理人: 潘煒;劉冬梅

1.一種基于對(duì)比損失的域自適應(yīng)物體檢測(cè)方法，其特征在于，所述方法包括以下步驟：

步驟1，訓(xùn)練檢測(cè)器；

步驟2，對(duì)檢測(cè)器進(jìn)行初步微調(diào)；

步驟2包括以下子步驟：

步驟2-1，對(duì)圖像進(jìn)行風(fēng)格遷移；

所述風(fēng)格遷移包括將源域圖像遷移至目標(biāo)域圖像的風(fēng)格和將目標(biāo)域的圖像遷移至源域圖像的風(fēng)格；

步驟2-2，獲得圖像風(fēng)格遷移前后的對(duì)比損失，對(duì)檢測(cè)器進(jìn)行初步微調(diào)；

步驟2-2包括以下子步驟：

步驟2-2-1，由風(fēng)格遷移前的圖像數(shù)據(jù)集中取出N張圖像，獲得圖像特征；

步驟2-2-2，由風(fēng)格遷移后的圖像數(shù)據(jù)集中取出N張對(duì)應(yīng)的圖像，獲得圖像特征；

步驟2-2-3，由2N個(gè)特征獲得圖像的對(duì)比損失，對(duì)檢測(cè)器進(jìn)行初步微調(diào)；

步驟2-2-3中，采用特征相似度來(lái)估計(jì)圖像的對(duì)比損失，所述估計(jì)圖像的對(duì)比損失包括估計(jì)源域圖像和源域風(fēng)格遷移至目標(biāo)域的圖像的對(duì)比損失，以及估計(jì)目標(biāo)域圖像和目標(biāo)域風(fēng)格遷移至源域的圖像的對(duì)比損失；源域圖像的特征為x_S，源域風(fēng)格遷移至目標(biāo)域的同一圖像的特征為x_S→T，二者的相似度通過(guò)下式獲得：

最大化源域和源域風(fēng)格遷移后的圖像的特征相似度，或最小化其負(fù)值，以將源域和目標(biāo)域的特征進(jìn)行對(duì)齊，目標(biāo)函數(shù)如下式所示：

其中，分別為源域和源域風(fēng)格遷移后的第i張圖像的特征；

最小化不同圖像的特征的相似度，以保留特征的判別性，目標(biāo)函數(shù)如下式所示：

為源域中第i張和第j張圖像的特征，為風(fēng)格遷移后第j張圖像的特征；

步驟3，對(duì)初步微調(diào)后的檢測(cè)器進(jìn)行再次微調(diào)；

步驟4，利用微調(diào)后的檢測(cè)器進(jìn)行物體檢測(cè)。

2.根據(jù)權(quán)利要求1所述的檢測(cè)方法，其特征在于，步驟1中，選擇Faster R-CNN作為基礎(chǔ)檢測(cè)器，采用圖像數(shù)據(jù)集中源域帶標(biāo)注信息的圖像對(duì)基礎(chǔ)檢測(cè)器進(jìn)行全監(jiān)督訓(xùn)練。

3.根據(jù)權(quán)利要求1所述的檢測(cè)方法，其特征在于，步驟1中，在訓(xùn)練過(guò)程中，包括在特征網(wǎng)絡(luò)提取圖像級(jí)的特征和區(qū)域級(jí)的特征。

4.根據(jù)權(quán)利要求1所述的檢測(cè)方法，其特征在于，步驟3中，采用步驟2微調(diào)后的模型對(duì)沒(méi)有標(biāo)注信息的目標(biāo)域數(shù)據(jù)打上偽標(biāo)簽，用帶偽標(biāo)簽的目標(biāo)域圖像對(duì)檢測(cè)器的網(wǎng)絡(luò)參數(shù)進(jìn)行再次微調(diào)。

5.一種基于對(duì)比損失的域自適應(yīng)物體檢測(cè)裝置，用于實(shí)施權(quán)利要求1至4之一所述的檢測(cè)方法，其特征在于，所述裝置包括源域檢測(cè)器訓(xùn)練單元、初步微調(diào)單元、再次微調(diào)單元、目標(biāo)域檢測(cè)器訓(xùn)練單元和物體檢測(cè)單元；

所述源域檢測(cè)器訓(xùn)練單元采用圖像數(shù)據(jù)集中源域帶標(biāo)注信息的圖像對(duì)基礎(chǔ)檢測(cè)器進(jìn)行全監(jiān)督訓(xùn)練，以獲得源域檢測(cè)器；

所述初步微調(diào)單元通過(guò)對(duì)數(shù)據(jù)集中的圖像進(jìn)行風(fēng)格遷移，獲得圖像風(fēng)格遷移前后的對(duì)比損失，以對(duì)檢測(cè)器進(jìn)行初步微調(diào)；

所述再次微調(diào)單元通過(guò)對(duì)沒(méi)有標(biāo)注信息的目標(biāo)域數(shù)據(jù)打上偽標(biāo)簽，以用帶偽標(biāo)簽的目標(biāo)域圖像對(duì)檢測(cè)器的網(wǎng)絡(luò)參數(shù)進(jìn)行再次微調(diào)；

所述目標(biāo)域檢測(cè)器 訓(xùn)練單元利用沒(méi)有標(biāo)注信息的目標(biāo)域圖像和生成的偽標(biāo)簽對(duì)源域物體檢測(cè)器進(jìn)行微調(diào)，對(duì)網(wǎng)絡(luò)進(jìn)行梯度返傳，并更新網(wǎng)絡(luò)參數(shù)，直至網(wǎng)絡(luò)收斂，獲得收斂后的目標(biāo)域檢測(cè)器；

所述物體檢測(cè)單元用于采用收斂后的目標(biāo)域檢測(cè)器對(duì)待測(cè)物體進(jìn)行檢測(cè)。

6.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，存儲(chǔ)有基于對(duì)比損失的域自適應(yīng)物體檢測(cè)程序，所述程序被處理器執(zhí)行時(shí)，使得處理器執(zhí)行權(quán)利要求1至4之一所述基于對(duì)比損失的域自適應(yīng)物體檢測(cè)方法的步驟。

7.一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，其特征在于，所述存儲(chǔ)器存儲(chǔ)有基于對(duì)比損失的域自適應(yīng)物體檢測(cè)程序，所述程序被處理器執(zhí)行時(shí)，使得處理器執(zhí)行權(quán)利要求1至4之一所述基于對(duì)比損失的域自適應(yīng)物體檢測(cè)方法的步驟。