[發明專利]一種基于多部件自注意力機制的行人重識別方法

有效

• 申請號: 202010467045.5
• 申請日: 2020-05-28
• 公開（公告）號: CN111368815B
• 公開（公告）日: 2020-09-04
• 發明（設計）人: 陸易;葉喜勇;徐曉剛;張逸;張文廣;祝敏航
• 申請（專利權）人: 之江實驗室
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 邱啟旺

本發明提供了一種基于多部件自注意力機制的行人重識別方法，該方法首先預訓練深度卷積神經網絡骨干模型；然后對骨干模型進行分支后構建多部件自注意力網絡，獲得多部件自注意力特征；接著將多部件自注意力特征輸入分類器，聯合訓練最小化交叉熵損失和度量損失；最后將測試集圖片輸入訓練好的模型，融合輸出的部件特征獲得整體特征，經度量排序實現行人重識別。本發明通過充分考慮行人重識別問題中存在的各種挑戰，提出了多部件自注意力機制，有效地擴展了注意力激活區域，豐富了行人特征；自注意力模塊使網絡更充分細致地關注具有判別特性的區域就，其中空間注意力模塊和通道注意力模塊以殘差的形式融入網絡，使得網絡更加健壯穩定，容易訓練。

技術領域

本發明屬于人工智能及計算機視覺技術領域，尤其涉及一種基于多部件自注意力機制的行人重識別方法。

背景技術

隨著城市化進程的加快，公共安全已成為了人們日益關注的焦點和需求。大學校園、主題公園、醫院、街道等許多重要的公共衛生區域都廣泛覆蓋了監控攝像頭，為利用計算機視覺技術自動化監控創造了良好的客觀條件。

近年來，行人重識別作為視頻監控領域的一個重要研究方向，日益受到人們的關注。具體來說，行人重識別是指在跨攝像頭、跨場景下利用計算機視覺技術判斷圖像或視頻序列中是否存在特定行人的技術。作為人臉識別技術的重要補充，該技術能夠根據行人的穿著、體態、發型等信息認知行人，在實際監控場景下對無法獲取清晰拍攝人臉的行人進行跨攝像頭連續跟蹤，增強數據的時空連續性，有助于節省大量的人力物力，具有重要的研究意義。

在開放環境下，由于監控場景復雜多變，采集的行人圖像往往存在背景噪音、光照變化、姿態改變、嚴重遮擋等干擾因素，而現有的識別模型不能很好地關注具有強判別性、高區分度的區域，導致提取的特征不夠魯棒，識別性能不佳。因此，目前亟待提出一種能夠準確提取強判別性、高區分度特征的行人重識別方法。

發明內容

本發明的目的在于針對現有方法的不足，提出了一種基于多部件自注意力機制的行人重識別方法。該方法利用現有深度學習的優勢，通過深度殘差神經網絡提取特征；構建了基于多部件自注意力機制的識別模型，分部件、多分支、高融合地提取行人特征，擴大了注意力激活范圍，更廣泛充分地關注具有判別性的區域；融合了空間自注意力和通道自注意力，在空間上，讓模型更多地關注那些具有判別特性的關鍵區域，在通道上，讓模型對含有相似語義信息的通道進行整合歸納，使得分類結果更具有區分性，同時，空間注意力模塊和通道注意力模塊以殘差的形式融入網絡，使得網絡更加健壯穩定，容易訓練。綜上所述，本發明提升了跨攝像頭下行人重識別的性能，具有良好的魯棒性和普遍的適用性。

本發明的目的是通過以下技術方案來實現的：一種基于多部件自注意力機制的行人重識別方法，包括以下步驟：

S1：預訓練深度卷積神經網絡骨干模型B；

S2：對骨干模型B進行分段：B_common和B_branch，其中B_branch對應骨干模型B最后一層殘差網絡layer4，將B_branch深度拷貝2份，得到三條支路：B_branch1，B_branch2，B_branch3，在支路后構建多部件自注意力網絡ANet，獲得行人的多部件自注意力特征F；

S3：將多部件自注意力特征輸入分類器CLS，聯合訓練最小化交叉熵損失L_xent和度量損失L_triplet；

S4：將測試集圖片輸入訓練好的模型，融合輸出的部件特征獲得整體特征f，經度量排序實現行人重識別。

進一步地，所述的步驟S1具體為：深度卷積神經網絡骨干模型B采用ResNet，并在ImageNet數據集上進行預訓練，使B獲得初始值。

進一步地，所述的步驟S2包括以下子步驟：