[發明專利]基于遮擋感知自監督學習的行人檢測方法及裝置

有效

• 申請號: 201910277903.7
• 申請日: 2019-04-08
• 公開（公告）號: CN110084146B
• 公開（公告）日: 2021-06-04
• 發明（設計）人: 魯繼文;周杰;林純澤;段岳圻
• 申請（專利權）人: 清華大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/62
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張潤

1.一種基于遮擋感知自監督學習的行人檢測方法，其特征在于，包括以下步驟：

將輸入圖像送到候選區域生成網絡中以生成多個感興趣區域，其中，所述多個感興趣區域包括行人區域和背景區域；

對所述多個感興趣區域進行預處理，以得到多張感興趣圖片，并根據所述多張感興趣圖片隨機生成遮擋物以得到遮擋樣本圖片和標有遮擋物位置信息的遮擋圖；

將所述多張感興趣圖片和遮擋樣本圖片輸入至遮擋感知深度網絡，并通過所述遮擋圖監督訓練網絡，以得到所述遮擋感知深度網絡的置信度；以及

根據所述多個感興趣區域和所述候選區域生成網絡的置信度及所述遮擋感知深度網絡的置信度得到行人檢測結果。

2.根據權利要求1所述的基于遮擋感知自監督學習的行人檢測方法，其特征在于，所述將輸入圖像送到候選區域生成網絡中以生成多個感興趣區域，進一步包括：

通過候選區域生成網絡檢測出所述多個感興趣區域中的所述行人區域，以獲得所述候選區域生成網絡的置信度。

3.根據權利要求1所述的基于遮擋感知自監督學習的行人檢測方法，其特征在于，所述對所述多個感興趣區域進行預處理，以得到多張感興趣圖片，進一步包括：

將所述多個感興趣區域從所述輸入圖像中裁剪下來并調整至相同大小圖片，以得到多張感興趣圖片。

4.根據權利要求2所述的基于遮擋感知自監督學習的行人檢測方法，其特征在于，還包括：

使用第一目標函數訓練所述候選區域生成網絡，其中，所述第一目標函數為：

L_RPN＝L_conf+λ_lL_loc+λ_sL_seg

其中：

x_ij＝{1，0}判斷第i個檢測框與第j個行人標注框是否有交集，N為檢測框的數目，{x，y，w，h}代表檢測框的中心坐標、寬度和高度，d為檢測結果，g是標注信息，

N_s為行人分割圖中的像素個數，y_i為真實像素標簽，l_s為行人或背景類別，I{.}為指示函數。

5.根據權利要求1所述的基于遮擋感知自監督學習的行人檢測方法，其特征在于，還包括：

使用第二目標函數訓練所述遮擋感知深度神經網絡，其中，所述第二目標函數為：

其中，為softmaxloss評估真實類別和模型估計的類別，

其中，H和W分別是遮擋圖的高和寬，和分別是模型估計的遮擋圖中第k和j像素的預測的類別以及真實遮擋圖中第k和j像素的真實類別，l_o為交叉熵函數。

6.一種基于遮擋感知自監督學習的行人檢測裝置，其特征在于，包括：

生成模塊，用于將輸入圖像送到候選區域生成網絡中以生成多個感興趣區域，其中，所述多個感興趣區域包括行人區域和背景區域；

預處理模塊，用于對所述多個感興趣區域進行預處理，以得到多張感興趣圖片，并根據所述多張感興趣圖片隨機生成遮擋物以得到遮擋樣本圖片和標有遮擋物位置信息的遮擋圖；

置信度獲取模塊，用于將所述多張感興趣圖片和遮擋樣本圖片輸入至遮擋感知深度網絡，并通過所述遮擋圖監督訓練網絡，以得到所述遮擋感知深度網絡的置信度；以及

結果模塊，用于根據所述多個感興趣區域和所述候選區域生成網絡的置信度及所述遮擋感知深度網絡的置信度得到行人檢測結果。

7.根據權利要求6所述的基于遮擋感知自監督學習的行人檢測裝置，其特征在于，所述生成模塊進一步用于通過候選區域生成網絡檢測出所述多個感興趣區域中的所述行人區域，以獲得所述候選區域生成網絡的置信度。

8.根據權利要求6所述的基于遮擋感知自監督學習的行人檢測裝置，其特征在于，所述預處理模塊進一步用于將所述多個感興趣區域從所述輸入圖像中裁剪下來并調整至相同大小圖片，以得到多張感興趣圖片。