[發明專利]一種基于多任務學習的遮擋行人重識別方法

在審

• 申請號: 202110333021.5
• 申請日: 2021-03-29
• 公開（公告）號: CN112801051A
• 公開（公告）日: 2021-05-14
• 發明（設計）人: 沈子荷;崔鵬;馬超
• 申請（專利權）人: 哈爾濱理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本申請實施例公開了一種基于多任務學習的遮擋行人重識別方法，包括：一個分支構建隨機遮擋的行人重識別網絡，使其自動生成部分遮擋圖片，得到遮擋數據集；全身圖和遮擋圖兩個分支分別在網絡上進行訓練；結合全身圖和遮擋圖學習到的行人身份，按照相似度大小排列，得到識別結果；用遮擋圖片作為query，全身圖作為gallery來選擇一半行人身份進行訓練；利用剩下的一半行人身份作為測試集評估網絡模型的識別效果。本方法與其它行人重識別方法相比，多任務學習中的一個分支引入了隨機遮擋模塊，使得所有圖片都有部分被遮擋，然后全身圖和遮擋圖分別學習，結合兩者學習到的特征，實現行人重識別，并在數據集Occluded?REID和DukeMTMC?reID上驗證本發明的有效性。

技術領域

本申請實施例涉及計算機視覺圖像處理技術領域，具體涉及一種基于多任務學習的遮擋行人重識別方法。

背景技術

行人重識別旨在通過多個非重疊的攝像機對目標人員進行再識別，即給定一個調查對象和一個圖庫，我們的目標是在圖庫中找到包含該調查對象的同一個人的所有圖像。它是計算機視覺領域的一個重要研究課題，目前已被應用于許多重要的公共場所，特別是擁擠的場所，如校園、商場、機場等。然而，面向研究的場景與實際應用的場景還有很大的差距，現實場景中存在很多影響ReID精確度的因素，主要存在以下問題：攝像機像素問題，攝像機可能會因為與行人的距離導致像素較低；行人姿態問題，行人各種各樣的姿態變化和不確定性，也大大增加了難度，這些挑戰導致了重新識別仍然是一個未解決的問題；遮擋問題，照片中的行人可能會被其他行人、廣告牌、墻壁和汽車等遮擋，給行人重識別的研究帶來了一定阻礙，所以行人重識別在遮擋方面還存在很大的難度。

遮擋問題是不可避免的，當圖片中出現遮擋物時，可能會導致錯誤的識別結果，所以我們可以通過多任務學習，使得網絡可以更加注重圖片上的局部信息和特征，而不是整體信息，減小對遮擋部分的信息關注，這樣可以很大程度上解決遮擋帶來的難題。

發明內容

為此，本申請實施例公開了一種基于多任務學習的遮擋行人重識別方法，本方法分為兩個分支，其中一個分支構建隨機遮擋模塊，自動生成部分遮擋圖片，得到遮擋數據集進行學習，另一個分支針對全身圖，分別對全身圖進行局部特征學習和姿態估計，結合全身圖學習到的行人ID和遮擋圖學習到的行人ID，按照相似度大小排列，得到識別結果，我們用遮擋圖片作為query，全身圖作為gallery，隨機選擇一半行人身份進行訓練。利用剩下的一半行人身份作為測試集，對行人重識別網絡進行訓練，得到網絡模型，評估網絡模型的識別效果。將測試數據集輸入到模型中，采用平均精度均值mAP和累積匹配特征曲線CMC curve來評估模型效果。把gallery數據集輸入到模型，保存模型提取的行人圖像特征，最終得到一個行人圖像特征數據庫，每個特征都有唯一的行人ID。輸入查詢行人圖像，得到行人特征，檢索圖像特征，計算相似度，選出相似度最高的照片，得到的ID就是查詢圖像的行人ID。

為了實現上述目的，本申請實施例提供如下技術方案：

根據本申請實施例，提供了一種基于多任務學習的遮擋行人重識別方法，包括：

一個分支構建隨機遮擋模塊，自動生成部分遮擋圖片，得到遮擋數據集進行學習；

另一個分支針對全身圖，分別對全身圖進行局部特征學習和姿態估計，然后結合兩者特征；

結合全身圖學習到的行人ID和遮擋圖學習到的行人ID，按照相似度大小排列，得到識別結果；

我們用遮擋圖片作為query，全身圖作為gallery，隨機選擇一半行人身份進行訓練，得到網絡模型；

我們利用剩下的一半行人身份作為測試集，評估網絡模型的識別效果，將測試數據集輸入到模型中，采用平均精度均值mAP和累積匹配特征曲線CMC curve來評估模型效果；

把gallery數據集輸入到訓練好的模型中，保存模型提取的行人圖像特征，最終得到一個行人圖像特征數據庫，每個特征都有唯一的行人ID；