[發明專利]用于人物識別的方法和系統

有效

• 申請號: 201680084297.1
• 申請日: 2016-04-06
• 公開（公告）號: CN109074472B
• 公開（公告）日: 2020-12-18
• 發明（設計）人: 王曉剛;肖桐;李爽
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;王艷春

一種用于人物識別的方法和系統，其中，所述方法包括：提供具有以下各項的卷積神經網絡(CNN)：特征提取層(1200)、聯接到所述特征提取層(1200)的關注區域(ROI)建議層(1300)和聯接到所述ROI建議層(1300)的人物識別層(1400)，所述ROI建議層(1300)和所述人物識別層(1400)被同步訓練；通過所述特征提取層(1200)從圖像提取特征圖；通過所述ROI建議層(1300)從已提取的特征圖裁剪出含有候選人物的ROI；以及通過所述人物識別層(1400)根據預設目標人物圖像識別所裁剪出的ROI中所含的所述候選人物。

技術領域

本公開涉及用于人物識別的方法和系統。

背景技術

人物識別的目的在于識別圖像中的人物。這是個快速發展的技術領域，且在視頻監控和多媒體方面具有許多實際應用，例如但不限于人物檢索、交叉相機視覺跟蹤以及活動分析(activity analysis)。人物識別因視角、位姿、光照條件、遮擋、分辨率、背景和相機設置等的復雜變化而尤其具有挑戰性。

盡管近年來已提出人物識別框架，且這些框架的性能已改進，但所提出的框架與實際應用之間仍存在很大差距。在大多數現有框架中，通過比較候選人物組中手動裁剪出的人物與預設目標人物而非在整個圖像中搜索目標人物來實施人物識別。通過使用實施這些框架的協議，已開發的人物識別方法假設能從背景中完美地挑出人物。舉例來說，可通過手動預設限界框來選擇候選人物。然而，進行限界框標注在現實世界情境中不可用。

現有人物識別方法可能很難消除一些誤報、誤檢和錯位，因而不利于總體人物識別結果。在這些情形下，這些人物識別方法的效率和準確性相對較低。因此，需要一種更有效的人物識別方法。

發明內容

下文呈現對本公開的簡化概述，以便提供對本公開的一些方面的基本理解。此概述并非本公開的詳盡綜述。此概述既不標識本公開的重要或關鍵要素，也不劃定本公開的特定實施方式的任何范圍或權利要求書的任何范圍。其唯一目的是以簡化形式呈現本公開的一些概念，以作為稍后呈現的更詳細描述的序言。

為了至少部分地解決上述問題中的一個問題，在本申請的一個方面中提出一種用于識別圖像中的人物的端到端深度學習方法。所述方法包括：通過卷積神經網絡(CNN)的特征提取層從圖像提取特征圖；通過聯接到特征提取層的ROI建議層(ROI proposal layer)從已提取的特征圖裁剪出含有候選人物的ROI；以及通過聯接到ROI建議層的人物識別層根據目標人物的預設圖像識別所裁剪出的ROI中所含的候選人物，其中，ROI建議層和人物識別層被同步訓練。通過同步訓練ROI建議層和人物識別層，會帶來若干益處。一方面，已學習的ROI建議層允許一些能夠很容易地由人物識別層處理的誤報。另一方面，ROI建議層和人物識別層彼此更好地配合以輸出更準確的結果。

在本申請的一個實施方式中，裁剪包括將所裁剪出的ROI池化(pool)為具有固定長度的特征向量。

在本申請的一個實施方式中，人物識別層還包括限界框回歸層，所裁剪出的ROI包含與候選人物重疊的限界框，且識別包括通過限界框回歸層移動邊界以增強與候選人物的重疊。

在本申請的一個實施方式中，識別還包括對所裁剪出的ROI進行降采樣處理以加速識別。

在本申請的一個實施方式中，人物識別層包括隨機采樣softmax(RSS)損失層，且人物識別層的訓練包括：根據目標人物的預設圖像，對第一訓練集中的多個訓練人物圖像和所述訓練人物圖像的背景進行評分；根據訓練人物圖像和背景的得分，從第一訓練集中選擇子集，其中，所述子集包括目標人物和背景；建立包括所述子集中的人物圖像和背景的得分的第二訓練集；通過RSS損失層基于第二訓練集確定損失和梯度；以及反向傳播所確定的損失和梯度以調整人物識別層的參數，直到損失和梯度收斂為止。