[發明專利]一種基于軌跡關聯學習的弱監督行人重識別方法

在審

• 申請號: 202110432674.9
• 申請日: 2021-04-21
• 公開（公告）號: CN113128410A
• 公開（公告）日: 2021-07-16
• 發明（設計）人: 劉敏;王飛;劉慶
• 申請（專利權）人: 湖南大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 長沙惟盛赟鼎知識產權代理事務所(普通合伙) 43228
• 代理人: 陳釗

本發明屬于計算機視覺領域，尤其涉及一種基于軌跡關聯學習的弱監督行人重識別方法，包括以下步驟：S1：構建弱監督行人重識別數據集；S2：基于ImageNet數據集得到預訓練的Resnet?50模型和特征矩陣；S3：捕獲樣本內行人圖像與行人身份間的關系；S4：對每個行人圖像進行特征學習，獲取每個行人的軌跡特征；S5：挖掘樣本間行人圖像與行人身份的潛在關聯；S6：模型訓練；S7：進行弱監督測試。通過對樣本內行人圖像與行人身份關系的捕獲和行人軌跡特征的學習并結合樣本間行人軌跡潛在關系的挖掘，有效地提高了模型的特征提取能力，并取得了突出的行人重識別性能。

技術領域

本發明屬于計算機視覺領域，尤其涉及一種基于軌跡關聯學習的弱監督行人重識別方法。

背景技術

近年來，有研究者提出了弱監督行人重識別的方法；弱監督的設定是指對每一個行人視頻數據樣本標上弱標簽，弱標簽只標記該視頻片段中出現的行人身份，而不是精確地給每個人的軌跡標記一個身份標簽；通過自動行人檢測算法將每一個視頻片段中檢測到的所有行人圖像作為一個獨立的弱監督樣本，并標上相對應的弱標簽，該方法平衡了標記數據和識別性能的需求；雖然現有的基于弱監督的行人重識別方法在一定程度上降低了行人重識別任務的標注成本，并相比于無監督方法提升了識別性能，但識別精度相比于全監督方法仍然不高；主要是由于在弱監督的設定下，樣本與身份間的對應關系不明確，讓網絡難以充分地利用弱標簽提供的監督信息；再者弱監督的數據樣本是由自動檢測算法直接獲取的，每個樣本內可能會出現未標記的軌跡，這類情況會降低算法的魯棒性。

發明內容

本發明的目的在于克服上述現有技術的不足，提供了一種在弱監督設定下能夠明確樣本與身份間對應關系的行人重識別方法，具體為一種基于軌跡關聯學習的弱監督行人重識別方法。

為解決上述問題，本發明提供了一種基于軌跡關聯學習的弱監督行人重識別方法，具體包括如下步驟：

S1：構建弱監督行人重識別數據集，數據集由視頻片段組成，視頻片段包括多條行人軌跡和多張行人圖像，給行人圖像貼上弱標簽；

S2：在數據集上進行預訓練，獲得行人重識別預訓練網絡模型，在網絡模型的骨干網絡上添加全連接層，提取每張行人圖像的特征組成特征矩陣；

S3：捕獲樣本內行人圖像與行人身份間的關系，對于視頻片段中行人圖像通過全連接層得到對應特征矩陣，將得到的特征矩陣輸入到分類器中，分類器輸出行人圖像的身份預測的概率，并根據身份預測概率和弱標簽求得數值最高的索引，將該索引作為偽標簽分配給每張行人圖像；

S4：對每個行人圖像進行特征學習，獲取每個行人的軌跡特征，根據偽標簽和行人軌跡得到每條軌跡的識別率，通過識別率為弱標簽的每個行人身份選擇一個有效的軌跡訓練出行人重識別模型，在偽標簽的監督下，通過行人重識別模型，獲取每個行人的軌跡特征；

S5：挖掘樣本間行人圖像與行人身份的潛在關系，通過兩條不同的軌跡得到樣本間行人軌跡的損失函數；通過該損失函數，訓練行人重識別模型，訓練后的行人重識別模型可獲取樣本間行人圖像和行人身份的潛在關系；

S6：模型訓練，通過弱標簽建立弱監督軌跡關聯學習行人重識別模型，在數據集上訓練弱監督軌跡關聯學習行人重識別模型；

S7：進行弱監督測試，通過軌跡-視頻重識別和軌跡-軌跡重識別兩個評估策略，評估弱監督軌跡關聯學習行人重識別模型的性能。

通過對樣本內行人圖像與行人身份關系的捕獲和行人軌跡特征的學習并結合樣本間行人軌跡潛在關系的挖掘，有效地提高了模型的特征提取能力，并取得了突出的行人重識別性能。