[發(fā)明專利]基于遮擋感知自監(jiān)督學(xué)習(xí)的行人檢測(cè)方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201910277903.7
• 申請(qǐng)日: 2019-04-08
• 公開(kāi)（公告）號(hào): CN110084146B
• 公開(kāi)（公告）日: 2021-06-04
• 發(fā)明（設(shè)計(jì)）人: 魯繼文;周杰;林純澤;段岳圻
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/32;G06K9/62
• 代理公司: 北京清亦華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 張潤(rùn)

1.一種基于遮擋感知自監(jiān)督學(xué)習(xí)的行人檢測(cè)方法，其特征在于，包括以下步驟：

將輸入圖像送到候選區(qū)域生成網(wǎng)絡(luò)中以生成多個(gè)感興趣區(qū)域，其中，所述多個(gè)感興趣區(qū)域包括行人區(qū)域和背景區(qū)域；

對(duì)所述多個(gè)感興趣區(qū)域進(jìn)行預(yù)處理，以得到多張感興趣圖片，并根據(jù)所述多張感興趣圖片隨機(jī)生成遮擋物以得到遮擋樣本圖片和標(biāo)有遮擋物位置信息的遮擋圖；

將所述多張感興趣圖片和遮擋樣本圖片輸入至遮擋感知深度網(wǎng)絡(luò)，并通過(guò)所述遮擋圖監(jiān)督訓(xùn)練網(wǎng)絡(luò)，以得到所述遮擋感知深度網(wǎng)絡(luò)的置信度；以及

根據(jù)所述多個(gè)感興趣區(qū)域和所述候選區(qū)域生成網(wǎng)絡(luò)的置信度及所述遮擋感知深度網(wǎng)絡(luò)的置信度得到行人檢測(cè)結(jié)果。

2.根據(jù)權(quán)利要求1所述的基于遮擋感知自監(jiān)督學(xué)習(xí)的行人檢測(cè)方法，其特征在于，所述將輸入圖像送到候選區(qū)域生成網(wǎng)絡(luò)中以生成多個(gè)感興趣區(qū)域，進(jìn)一步包括：

通過(guò)候選區(qū)域生成網(wǎng)絡(luò)檢測(cè)出所述多個(gè)感興趣區(qū)域中的所述行人區(qū)域，以獲得所述候選區(qū)域生成網(wǎng)絡(luò)的置信度。

3.根據(jù)權(quán)利要求1所述的基于遮擋感知自監(jiān)督學(xué)習(xí)的行人檢測(cè)方法，其特征在于，所述對(duì)所述多個(gè)感興趣區(qū)域進(jìn)行預(yù)處理，以得到多張感興趣圖片，進(jìn)一步包括：

將所述多個(gè)感興趣區(qū)域從所述輸入圖像中裁剪下來(lái)并調(diào)整至相同大小圖片，以得到多張感興趣圖片。

4.根據(jù)權(quán)利要求2所述的基于遮擋感知自監(jiān)督學(xué)習(xí)的行人檢測(cè)方法，其特征在于，還包括：

使用第一目標(biāo)函數(shù)訓(xùn)練所述候選區(qū)域生成網(wǎng)絡(luò)，其中，所述第一目標(biāo)函數(shù)為：

L_RPN＝L_conf+λ_lL_loc+λ_sL_seg

其中：

x_ij＝{1，0}判斷第i個(gè)檢測(cè)框與第j個(gè)行人標(biāo)注框是否有交集，N為檢測(cè)框的數(shù)目，{x，y，w，h}代表檢測(cè)框的中心坐標(biāo)、寬度和高度，d為檢測(cè)結(jié)果，g是標(biāo)注信息，

N_s為行人分割圖中的像素個(gè)數(shù)，y_i為真實(shí)像素標(biāo)簽，l_s為行人或背景類別，I{.}為指示函數(shù)。

5.根據(jù)權(quán)利要求1所述的基于遮擋感知自監(jiān)督學(xué)習(xí)的行人檢測(cè)方法，其特征在于，還包括：

使用第二目標(biāo)函數(shù)訓(xùn)練所述遮擋感知深度神經(jīng)網(wǎng)絡(luò)，其中，所述第二目標(biāo)函數(shù)為：

其中，為softmaxloss評(píng)估真實(shí)類別和模型估計(jì)的類別，

其中，H和W分別是遮擋圖的高和寬，和分別是模型估計(jì)的遮擋圖中第k和j像素的預(yù)測(cè)的類別以及真實(shí)遮擋圖中第k和j像素的真實(shí)類別，l_o為交叉熵函數(shù)。

6.一種基于遮擋感知自監(jiān)督學(xué)習(xí)的行人檢測(cè)裝置，其特征在于，包括：

生成模塊，用于將輸入圖像送到候選區(qū)域生成網(wǎng)絡(luò)中以生成多個(gè)感興趣區(qū)域，其中，所述多個(gè)感興趣區(qū)域包括行人區(qū)域和背景區(qū)域；

預(yù)處理模塊，用于對(duì)所述多個(gè)感興趣區(qū)域進(jìn)行預(yù)處理，以得到多張感興趣圖片，并根據(jù)所述多張感興趣圖片隨機(jī)生成遮擋物以得到遮擋樣本圖片和標(biāo)有遮擋物位置信息的遮擋圖；

置信度獲取模塊，用于將所述多張感興趣圖片和遮擋樣本圖片輸入至遮擋感知深度網(wǎng)絡(luò)，并通過(guò)所述遮擋圖監(jiān)督訓(xùn)練網(wǎng)絡(luò)，以得到所述遮擋感知深度網(wǎng)絡(luò)的置信度；以及

結(jié)果模塊，用于根據(jù)所述多個(gè)感興趣區(qū)域和所述候選區(qū)域生成網(wǎng)絡(luò)的置信度及所述遮擋感知深度網(wǎng)絡(luò)的置信度得到行人檢測(cè)結(jié)果。

7.根據(jù)權(quán)利要求6所述的基于遮擋感知自監(jiān)督學(xué)習(xí)的行人檢測(cè)裝置，其特征在于，所述生成模塊進(jìn)一步用于通過(guò)候選區(qū)域生成網(wǎng)絡(luò)檢測(cè)出所述多個(gè)感興趣區(qū)域中的所述行人區(qū)域，以獲得所述候選區(qū)域生成網(wǎng)絡(luò)的置信度。

8.根據(jù)權(quán)利要求6所述的基于遮擋感知自監(jiān)督學(xué)習(xí)的行人檢測(cè)裝置，其特征在于，所述預(yù)處理模塊進(jìn)一步用于將所述多個(gè)感興趣區(qū)域從所述輸入圖像中裁剪下來(lái)并調(diào)整至相同大小圖片，以得到多張感興趣圖片。