[發明專利]遮擋下行人重識別模型訓練方法、裝置及遮擋下行人重識別方法、裝置

在審

• 申請號: 202110429894.6
• 申請日: 2021-04-21
• 公開（公告）號: CN113095263A
• 公開（公告）日: 2021-07-09
• 發明（設計）人: 周玉;孫彥景;王亮博;李銳
• 申請（專利權）人: 中國礦業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京眾合誠成知識產權代理有限公司 11246
• 代理人: 劉珊珊

本發明提出遮擋下行人重識別模型訓練方法、裝置及遮擋下行人重識別方法、裝置。在進行模型訓練時，通過結構相同、參數共享的特征提取網絡分別提取一對輸入圖像的特征圖像。由于只有輸入圖像對之間存在遮擋區域的不同，其余參數保持一致，因此通過對兩個特征圖做差，即可得到遮擋區域所對應的差異特征。再通過注意力生成器為差異特征進行不等價的權重分配，對模型精度影響較大的特征分配更高的權重，之后再從原特征圖中把分配好的特征給減去，保留較多的非遮擋區域。最后得到的兩個特征圖像送入池化層池化后再經全連接層進行基于損失函數的遞歸訓練。本發明不依賴第三方監督信息，模型具備更高的準確度，能夠實現更準確的遮擋下行人重識別。

技術領域

本發明涉及行人重識別技術領域，具體涉及一種遮擋下行人重識別模型訓練方法、裝置及遮擋下行人重識別方法、裝置。

背景技術

目前遮擋下的行人重識別方案主要利用額外的監督信息，主要是姿態估計和語義分割，通過聯合訓練來提升模型精度。例如Wang等人^[1]利用卷積神經網絡和姿態估計模型來提取行人圖像的局部特征作為圖的節點，并提出自適應方向圖卷積層來建模節點之間的關系信息和跨圖嵌入對齊層共同學習嵌入局部特征的拓撲信息，最后通過圖匹配直接預測兩幅特征圖之間的相似度得分。Miao等人^[2]利用額外訓練的姿態估計模型來指示行人的哪些區域被遮擋，以便更好地利用未被遮擋區域的特征。Zhang等人^[3]利用了語義分割的方法，利用了語義分割和行人重識別之間的內在聯系，提出了語義感知遮擋魯邦網絡，包含三個分支：全局分支、局部分支和語義分支。其中全局分支和局部分支對應全局特征和局部特征，語義分支用來指示行人未被遮擋的區域，最后三個分支在同一個框架中聯合進行訓練。

而在行人重識別方案中引入監督信息通常會造成一個問題：模型精度極大地依賴于姿態估計和語義分割的性能好壞。當生成的人體關鍵點或者語義信息由于遮擋而不準確時，這些方法就不能基于這些標志提取有效特征，從而導致模型性能下降。

[1]Wang,Guan'an,et al.High-order information matters:Learningrelation and topology for occluded person re-identification.Proceedings ofthe IEEE/CVF Conference on Computer Vision and Pattern Recognition.2020.

[2]Miao,Jiaxu,et al.Pose-guided feature alignment for occludedperson re-identification.Proceedings ofthe IEEE/CVF International Conferenceon ComputerVision.2019.

[3]Zhang,Xiaokang,et al.Semantic-Aware Occlusion-Robust Network forOccluded Person Re-Identification.IEEE Transactions on Circuits and Systemsfor Video Technology(2020).

發明內容

發明目的：為克服現有技術的缺陷，本發明提出一種不依賴監督信息的遮擋下行人重識別技術方案。本發明對圖像中遮擋區域與圖像深層特征之間的關系進行分析，通過訓練模型來減小由于遮擋區域的存在而偏離真實值的特征所帶來的影響，從而提升模型的精度，使之在遮擋情況下匹配到正確的行人。

技術方案：為實現上述目的，本發明提出以下技術方案：

一種遮擋下行人重識別模型訓練方法，包括以下步驟：

(1)搭建遮擋下行人重識別模型，包括依次連接的特征提取網絡、自注意力生成器、池化層、全連接層；