[發明專利]一種基于軌跡關聯學習的弱監督行人重識別方法

在審

• 申請號: 202110432674.9
• 申請日: 2021-04-21
• 公開（公告）號: CN113128410A
• 公開（公告）日: 2021-07-16
• 發明（設計）人: 劉敏;王飛;劉慶
• 申請（專利權）人: 湖南大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 長沙惟盛赟鼎知識產權代理事務所(普通合伙) 43228
• 代理人: 陳釗

1.一種基于軌跡關聯學習的弱監督行人重識別方法，其特征在于，具體包括如下步驟：

S1：構建弱監督行人重識別數據集，數據集由視頻片段組成，視頻片段包括多條行人軌跡和多張行人圖像，給行人圖像貼上弱標簽；

S2：在數據集上進行預訓練，獲得行人重識別預訓練網絡模型，在網絡模型的骨干網絡上添加全連接層，提取每張行人圖像的特征組成特征矩陣；

S3：捕獲樣本內行人圖像與行人身份間的關系，對于視頻片段中行人圖像通過全連接層得到對應特征矩陣，將得到的特征矩陣輸入到分類器中，分類器輸出行人圖像的身份預測的概率，并根據身份預測概率和弱標簽求得數值最高的索引，將該索引作為偽標簽分配給相應的行人圖像；

S4：對每個行人圖像進行特征學習，獲取每個行人的軌跡特征，根據偽標簽和行人軌跡得到每條軌跡的識別率，通過識別率為弱標簽的每個行人身份選擇一個有效的軌跡，在偽標簽的監督下，通過行人重識別模型，獲取每個行人的軌跡特征；

S5：挖掘樣本間行人圖像與行人身份的潛在關系，通過兩個不同的視頻片段得到樣本間行人軌跡的損失函數；通過該損失函數，訓練行人重識別模型，訓練后的行人重識別模型可獲取樣本間行人圖像和行人身份的潛在關系；

S6：模型訓練，基于弱標簽建立弱監督軌跡關聯學習行人重識別模型，在帶有弱標簽的數據集上訓練該模型；

S7：進行弱監督測試，通過軌跡-視頻重識別和軌跡-軌跡重識別兩個評估策略，評估弱監督軌跡關聯學習行人重識別模型的性能。

2.根據權利要求1所述的一種基于軌跡關聯學習的弱監督行人重識別方法，其特征在于S1中，構建數據集的具體內容為：在第n個視頻片段中選取所有軌跡中圖像的集合，記為作為弱監督樣本，模擬從第n個視頻片段中獲取的所有行人圖像的集合，記為且給B_n貼上C維的弱標簽向量，記為y_n∈{0,1}^C，得到弱監督行人重識別數據集，記為其中N表示視頻片段的數量，K表示行人圖像的數量，T_n表示第n個視頻片段中軌跡的數量，S_n,t表示第n個視頻片段的第t條軌跡的所有行人圖像的集合，t∈(1，T_n)，I_n,k表示第n個視頻片段的第k張行人圖像，N(S_n,t)表示與軌跡S_n,t對應的行人圖像的索引集合。

3.根據權利要求1所述的一種基于軌跡關聯學習的弱監督行人重識別方法，其特征在于S2中，具體內容為：將Resnet-50作為行人重識別預訓練網絡模型的骨干網絡，基于ImageNet數據集得到預訓練的Resnet-50模型，輸入弱監督行人重識別數據集在骨干網絡上加上一個d維的全連接層作為特征提取器，提取B_n中K_n張行人圖像對應的特征組成一個特征矩陣，記為

4.根據權利要求1所述的一種基于軌跡關聯學習的弱監督行人重識別方法，其特征在于S3中，得到偽標簽的具體過程為：對于第n個視頻片段中K_n張行人圖像通過特征提取器得到相應的特征矩陣X_n，將相應的特征矩陣X_n輸入到分類器f(·,θ)，然后使用softmax函數輸出行人圖像的身份預測的概率，記為將和真值視頻級弱標簽進行元素級的乘積操作，分配數值最高的索引作為相應行人圖像的偽標簽表示在該視頻片段中最可能對應的身份；其中θ為分類器的參數，X_n,k表示第n個視頻片段的第k張行人圖像的特征向量。

5.根據權利要求1所述的一種基于軌跡關聯學習的弱監督行人重識別方法，其特征在于S4中，根據偽標簽和行人軌跡s_n，t得到每條軌跡的識別率r，通過識別率r為弱標簽的每個行人身份選擇一個有效的軌跡s_n，k訓練出行人重識別模型，在偽標簽的監督下，通過行人重識別模型，獲取每個行人的軌跡特征；有效的軌跡s_n,k會在下一次訓練迭代時動態更新。