[發明專利]一種基于實例分割和圖像修復的帶遮擋行人重識別方法

有效

• 申請號: 202110254662.1
• 申請日: 2021-03-09
• 公開（公告）號: CN112861785B
• 公開（公告）日: 2023-09-29
• 發明（設計）人: 賴劍煌;何智通
• 申請（專利權）人: 中山大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V20/52;G06V10/25;G06V10/774;G06V10/82;G06N3/0464;G06N3/084
• 代理公司: 廣東南北知識產權代理事務所(普通合伙) 44918
• 代理人: 李思坪

本發明公開了一種基于實例分割和圖像修復的帶遮擋行人重識別方法，該方法包括：獲取待查圖像并對待查圖像進行實例分割和圖像修復處理，得到修復后行人圖像；基于預訓練的實例分割模型對行人圖像庫中的行人圖像進行實例分割，得到分割后行人圖像；分別對修復后行人圖像和分割后行人圖像進行特征提取并將提取的特征進行相似性度量，檢索得到同一行人的其他圖像。本發明方法通過對行人缺失部位進行檢測并修復的方式，提供更大區域更加完整的行人信息，幫助后續網絡獲得更具判別性的特征表示，從而提高行人重識別效果。本發明作為一種基于實例分割和圖像修復的帶遮擋行人重識別方法，可廣泛應用于行人重識別領域。

技術領域

本發明涉及行人重識別領域，尤其涉及一種基于實例分割和圖像修復的帶遮擋行人重識別方法。

背景技術

行人重識別任務是指在多攝像頭環境下，將一個攝像頭視角下出現的目標行人從其它攝像頭視角中檢索出來的任務。盡管一般的行人重識別工作已經有許多研究，但是針對遮擋問題的行人重識別任務依舊存在很大缺陷。現有的一些遮擋行人重識別方法通過檢測遮擋物所在的像素區域，來減少遮擋物對特征提取的影響，但是存在遮擋物種類多樣、形態各異等問題，無法很好地對遮擋物進行學習。

發明內容

為了解決上述技術問題，本發明的目的是提供一種基于實例分割和圖像修復的帶遮擋行人重識別方法，提高行人重識別效果。

本發明所采用的第一技術方案是：一種基于實例分割和圖像修復的帶遮擋行人重識別方法，包括以下步驟：

獲取待查圖像并對待查圖像進行實例分割和圖像修復處理，得到修復后行人圖像；

基于預訓練的實例分割模型對行人圖像庫中的行人圖像進行實例分割，得到分割后行人圖像；

分別對修復后行人圖像和分割后行人圖像進行特征提取并將提取的特征進行相似性度量，檢索得到同一行人的其他圖像。

進一步，所述獲取待查圖像并對待查圖像進行實例分割和圖像修復處理，得到修復后行人圖像這一步驟，其具體包括：

獲取待查圖像；

基于預訓練的實例分割模型對待查圖像進行實例分割處理，得到目標行人圖像；

基于預訓練的圖像修復網絡對目標行人圖像進行圖像修復，得到修復后行人圖像。

進一步，所述預訓練的實例分割模型采用深度卷積神經網絡構建而成，包括卷積層、激活層、池化層和反卷積層。

進一步，所述基于預訓練的實例分割模型對待查圖像進行實例分割處理，得到目標行人圖像這一步驟具體包括：

將待查圖像輸入到預訓練的實例分割模型，輸出待查圖像的置信度、類別、邊界框和掩膜；

根據類別將部分掩膜作為遮擋物模塊；

根據置信度和掩膜計算預測得分并根據預測得分將目標行人區域與干擾區域分離，得到目標行人圖像。

進一步，所述根據置信度和掩膜計算預測得分并根據預測得分將目標行人區域與干擾區域分離，得到目標行人圖像這一步驟，其具體包括：

根據置信度和掩膜計算預測得分并以得分最高的對應掩膜區域作為目標行人區域；

將待查圖像中該目標行人區域以外的部分設置為黑色，得到只保留目標行人區域的目標行人圖像。

進一步，所述預訓練的圖像修復網絡的訓練步驟包括：

構建行人圖像訓練集并從行人圖像訓練集中獲取完整行人圖像；

將遮擋物模板添加至完整行人圖像，得到殘缺行人圖像；

將完整行人圖像和殘缺行人圖像輸入到生成對抗網絡；