[發明專利]一種端到端的人體檢測與屬性識別方法

有效

• 申請號: 202010889969.4
• 申請日: 2020-08-28
• 公開（公告）號: CN112084913B
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 陳愛國;趙太銀;朱大勇;羅光春;谷俊霖;楊棟棟
• 申請（專利權）人: 電子科技大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V40/10;G06K9/62;G06N3/04;G06N3/08;G06V10/774
• 代理公司: 電子科技大學專利中心 51203
• 代理人: 周劉英

本發明提出一種基于深度學習的端到端的人體檢測與屬性識別方法，旨在提高網絡運行效率的同時提高泛化性能。網絡結構是由目標檢測與人體屬性識別兩個模塊構成，目標檢測模塊完成對人體對象的識別與定位。人體屬性識別模塊是一個多輸出網絡，用于完成多個人體屬性的判斷。該模型能準確地檢測現實場景中的多個人并且對這些人的屬性進行檢測，同時，還結合該模型的特點設置了一種將屬性相關性作為先驗知識來指導網絡訓練的方法。

技術領域

本發明涉及目標檢測與人體屬性識別領域，特別是現實場景中的人體屬性識別。

背景技術

人體屬性識別是指對現實場景中人的性別、年齡、發型、著裝等人體屬性進行判斷。這些屬性在行人識別與檢索方面都有很多的應用。比如在視頻質量較差時對行人進行身份驗證；在刑偵案件中，可以通過犯罪嫌疑人的外在屬性在監控視頻中檢索相似的疑犯。

現有人體屬性識別方法主要是將目標檢測和屬性識別作為兩個獨立任務，為兩個任務分別搭建深度卷積神經網絡進行學習，然后將兩個網絡進行串聯，該類方法實現比較簡單，但是由于是將檢測與識別分為兩階段，導致計算過程過于冗余。

發明內容

本發明的發明目的在于：為了解決現有人體屬性識別方法存在模型訓練效率低、經驗知識未被有效利用等問題，本發明提出一種基于多任務學習的端到端的人體檢測與屬性識別方法。使用一個神經網絡同時實現人體檢測與屬性識別兩個任務，能快速實現現實場景中的人體檢測及其屬性的識別，具有更好的運行效率與泛化性能。

本發明的端到端的人體檢測與屬性識別方法，包括下列步驟：

構建及訓練人體檢測與屬性識別的多任務網絡模型：

所述多任務網絡模型的網絡結構包括：

由卷積神經網絡構成的特征提取器，用于提取輸入圖像的特征圖；

由分類器與回歸器所構成的人體檢測模塊，輸入為特征提取器提取的特征圖，其中，分類器用于判斷是否為人體，回歸器用于預測人體位置；

由多個屬性識別分支所構成的屬性識別模塊，其中，屬性識別分支數與待識別的屬性數量一致；將人體檢測模塊的回歸器預測的人體位置按比例映射到特征圖，再在特征圖中提取對應映射后的人體位置的特征塊，輸入到各屬性識別分支；

即，本發明的特征提取器所提取的圖像特征作為人體檢測模塊與屬性識別模塊的輸入；

設置用于訓練所述多任務網絡模型的訓練數據集，并對訓練數據集進行數據集預處理后進行網絡模型訓練，保存滿足訓練需求的多任務網絡模型；

且訓練時，所采用的損失函數包括：

特征提取器包括批歸一化正則化項，即卷積神經網絡的正則化項；

人體檢測模塊包括分類損失和回歸損失；

屬性識別模塊包括多任務損失和針對不同屬性關系類型的約束函數；

將待處理的圖像輸入到所保存的多任務網絡模型，基于屬性識別模塊的網絡輸出值得到人體屬性的識別結果。

進一步的，數據集預處理方式包括：

對人體檢測數據集中不含人體對象的樣本進行過濾；

屬性識別數據集中針對缺省屬性進行預置值處理。

本發明的多任務網絡模型的訓練和推理方式分別為：

訓練時，使用不同的數據集訓練各自任務的分支，共同反饋主干卷積網絡；通過訓練一個可以同時用于人體檢測與屬性識別的特征提取器，該特征提取器所獲得的特征既可以用于人體檢測任務，也可以用于屬性識別任務；