[發明專利]基于遮擋感知自監督學習的行人檢測方法及裝置

有效

• 申請號: 201910277903.7
• 申請日: 2019-04-08
• 公開（公告）號: CN110084146B
• 公開（公告）日: 2021-06-04
• 發明（設計）人: 魯繼文;周杰;林純澤;段岳圻
• 申請（專利權）人: 清華大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/62
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張潤

本發明公開了一種基于遮擋感知自監督學習的行人檢測方法及裝置，其中，方法包括：將輸入圖像送到候選區域生成網絡中以生成包括行人區域和背景區域的多個感興趣區域；對多個感興趣區域進行預處理，以得到多張感興趣圖片，并根據多張感興趣圖片隨機生成遮擋物以得到遮擋樣本圖片和遮擋圖；將多張感興趣圖片和遮擋樣本圖片輸入至遮擋感知深度網絡，并通過遮擋圖監督訓練網絡，以得到遮擋感知深度網絡的置信度；根據多個感興趣區域和候選區域生成網絡的置信度及遮擋感知深度網絡的置信度得到行人檢測結果。該方法隨機生成遮擋樣本并提供遮擋物的具體位置，使得遮擋感知深度網絡能夠有效的區分人體和遮擋物，具備更魯棒的識別能力。

技術領域

本發明涉及計算機圖像處理中的行人檢測技術領域，特別涉及一種基于遮擋感知自監督學習的行人檢測方法及裝置。

背景技術

行人檢測是視覺分析中最重要的任務之一，具有許多實際應用，例如自動駕駛、智能監控和機器人。因此行人檢測技術具有極高的科研價值和商業價值，近年來，它在計算機視覺領域引起了極大的關注。盡管有大量的學者從事行人檢測算法的研究，行人檢測任務依然具有很大的挑戰性。大多數最先進的行人檢測方法在合理的情況下，即行人沒有被遮擋或被輕微遮擋的情況下，具有較好的檢測性能。然而，當行人被嚴重遮擋時，這些方法會受到嚴重影響。由于大多數身體部位是不可見的，因此行人檢測器很容易被遮擋物誤導，從而無法有效的識別行人。由于行人在現實世界的應用中可能被不同的物體遮擋，因此處理遮擋問題對于魯棒的行人檢測至關重要。

現有技術提出了一些方法來減輕遮擋的干擾，例如學習身體部位檢測器以局部地識別特定的身體部位，然后通過考慮多個部位的置信度來做出最終檢測的決定。現有大多數方法主要使用RPN(Region Proposal Network，候選區域生成網絡)提取一系列可能存在行人的區域，并在這些區域使用身體部位檢測器尋找人體的部位(頭部、胸部、手、腿、腳等等)。如果存在行人的身體部位，則表明區域確實存在目標，并將此區域的置信度提高作為檢測結果。

然而，這些方法的主要缺點是非常依賴于擁有細粒度標注的數據集(例如可見身體部位注釋)來學習每個身體部位的檢測器，收集這些精準標注的數據集需要非常昂貴且耗時的人工，從而使得這些方法無法在大多數僅具有整個身體位置標注的現有行人數據集上進行訓練。

發明內容

本發明旨在至少在一定程度上解決相關技術中的技術問題之一。

為此，本發明的一個目的在于提出一種基于遮擋感知自監督學習的行人檢測方法，該方法可以有效提高行人檢測的精度和魯棒性，簡單易實現。

本發明的另一個目的在于提出一種基于遮擋感知自監督學習的行人檢測裝置。

為達到上述目的，本發明一方面實施例提出了一種基于遮擋感知自監督學習的行人檢測方法，包括以下步驟：將輸入圖像送到候選區域生成網絡中以生成多個感興趣區域，其中，所述多個感興趣區域包括行人區域和背景區域；對所述多個感興趣區域進行預處理，以得到多張感興趣圖片，并根據所述多張感興趣圖片隨機生成遮擋物以得到遮擋樣本圖片和遮擋圖；將所述多張感興趣圖片和遮擋樣本圖片輸入至遮擋感知深度網絡，并通過所述遮擋圖監督訓練網絡，以得到所述遮擋感知深度網絡的置信度；根據所述多個感興趣區域和所述候選區域生成網絡的置信度及所述遮擋感知深度網絡的置信度得到行人檢測結果。

本發明實施例的基于遮擋感知自監督學習的行人檢測方法，將需要檢測的圖片輸入到候選區域生成網絡中得到一系列可能有行人的候選區域，并在訓練遮擋感知深度神經網絡的過程中，在這些候選區域圖片生成隨機遮擋物以及標有遮擋物位置的遮擋圖，從而使用遮擋圖作為免費額外的監督信號訓練遮擋感知深度神經網絡，使其能夠區分人體特征和遮擋物，具備更魯棒的識別能力，進而有效提高行人檢測的精度和魯棒性，簡單易實現。

另外，根據本發明上述實施例的基于遮擋感知自監督學習的行人檢測方法還可以具有以下附加的技術特征：