[發明專利]一種基于多任務學習的遮擋行人重識別方法

在審

• 申請號: 202110333021.5
• 申請日: 2021-03-29
• 公開（公告）號: CN112801051A
• 公開（公告）日: 2021-05-14
• 發明（設計）人: 沈子荷;崔鵬;馬超
• 申請（專利權）人: 哈爾濱理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于多任務學習的遮擋行人重識別方法，其特征在于，包括以下步驟：

一個分支構建隨機遮擋模塊，自動生成部分遮擋圖片，得到遮擋數據集進行學習；

另一個分支針對全身圖，分別對全身圖進行局部特征學習和姿態估計，然后結合兩者特征；

結合全身圖學習到的行人ID和遮擋圖學習到的行人ID，按照相似度大小排列，得到識別結果；

我們用遮擋圖片作為query，全身圖作為gallery，隨機選擇一半行人身份進行訓練，得到網絡模型；

我們利用剩下的一半行人身份作為測試集，評估網絡模型的識別效果，將測試數據集輸入到模型中，采用平均精度均值mAP和累積匹配特征曲線CMC curve來評估模型效果；

把gallery數據集輸入到由步驟四得到的模型中，保存模型提取的行人圖像特征，最終得到一個行人圖像特征數據庫，每個特征都有唯一的行人ID；

輸入查詢行人圖像，得到行人特征，檢索圖像特征，計算相似度，選出相似度最高的圖片，得到的ID就是查詢圖像的行人ID。

2.如權利要求1所述的方法，其特征在于，所述的一個分支構建隨機遮擋模塊，具體步驟如下：

一個有N張圖M個行人ID的數據集X，通過映射函數，把數據集X轉化為數據集Z，數據集Z中的每張圖片都是隨機遮擋的圖片；

此外，我們需要學習一種特征提取器h，使同一人的特征接近，不同人的特征差距更大；

然后我們在卷積神經網絡中訓練這些遮擋圖片，來識別每個人的身份，在數據集X上訓練；

我們將行人重識別作為一個分類問題，并使用softmax損失作為身份損失。

3.如權利要求1所述的方法，其特征在于，分別對全身圖進行局部特征學習和姿態估計，然后結合兩者學習到的特征得到行人ID的結果，具體如下：

全身圖經過骨干網絡ResNet50得到tensor T；

把tensor T水平均分成六部分，經過平均池化得到6個列向量g，然后對每一向量進行卷積操作，降低維數得到列向量h，最后所有的列向量h輸入到由全連接層和softmax函數構成的分類器中，得到預測的行人ID；

然后對全身圖進行姿態估計，輸入圖片，利用姿態估計器得到18個地標，對于每個地標，姿態估計器預測其坐標和置信度得分，然后與閾值γ進行比較，置信度大于γ的求出其坐標，小于γ的置為0；

利用地標生成以地面真實位置為中心的二維高斯熱圖，每張熱圖明確編碼了行人不同區域的信息；

將tensor T平均池化為全局特征，每張熱圖乘以T，得到姿態引導特征圖，聚焦行人非遮擋部分，抑制來自遮擋區域的信息；

每一個姿態引導特征圖經過一個平均池化層，生成一個2048維的特征向量，然后對所有特征向量最大池化，并將它們與全局特征連接起來，將其輸入全連接層，得到姿態導向全局特征，使用softmax預測每個輸入圖像的ID。