[發(fā)明專利]一種基于實例分割和圖像修復(fù)的帶遮擋行人重識別方法

有效

• 申請?zhí)枺?/td>: 202110254662.1
• 申請日: 2021-03-09
• 公開（公告）號: CN112861785B
• 公開（公告）日: 2023-09-29
• 發(fā)明（設(shè)計）人: 賴劍煌;何智通
• 申請（專利權(quán)）人: 中山大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V20/52;G06V10/25;G06V10/774;G06V10/82;G06N3/0464;G06N3/084
• 代理公司: 廣東南北知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44918
• 代理人: 李思坪

1.一種基于實例分割和圖像修復(fù)的帶遮擋行人重識別方法，其特征在于，包括以下步驟：

獲取待查圖像并對待查圖像進行實例分割和圖像修復(fù)處理，得到修復(fù)后行人圖像；

基于預(yù)訓(xùn)練的實例分割模型對行人圖像庫中的行人圖像進行實例分割，得到分割后行人圖像；

分別對修復(fù)后行人圖像和分割后行人圖像進行特征提取并將提取的特征進行相似性度量，檢索得到同一行人的其他圖像；

所述基于預(yù)訓(xùn)練的實例分割模型對待查圖像進行實例分割處理，得到目標行人圖像這一步驟具體包括：

將待查圖像輸入到預(yù)訓(xùn)練的實例分割模型，輸出待查圖像的置信度、類別、邊界框和掩膜；

根據(jù)類別將部分掩膜作為遮擋物模塊；

根據(jù)置信度和掩膜計算預(yù)測得分并根據(jù)預(yù)測得分將目標行人區(qū)域與干擾區(qū)域分離，得到目標行人圖像；

所述根據(jù)置信度和掩膜計算預(yù)測得分并根據(jù)預(yù)測得分將目標行人區(qū)域與干擾區(qū)域分離，得到目標行人圖像這一步驟，其具體包括：

根據(jù)置信度和掩膜計算預(yù)測得分并以得分最高的對應(yīng)掩膜區(qū)域作為目標行人區(qū)域；

將待查圖像中該目標行人區(qū)域以外的部分設(shè)置為黑色，得到只保留目標行人區(qū)域的目標行人圖像；

所述預(yù)訓(xùn)練的圖像修復(fù)網(wǎng)絡(luò)的訓(xùn)練步驟包括：

構(gòu)建行人圖像訓(xùn)練集并從行人圖像訓(xùn)練集中獲取完整行人圖像；

將遮擋物模板添加至完整行人圖像，得到殘缺行人圖像；

將完整行人圖像和殘缺行人圖像輸入到生成對抗網(wǎng)絡(luò)；

基于編碼器對殘缺行人圖像進行處理，轉(zhuǎn)換為隱空間內(nèi)的特征；

基于解碼器將隱空間內(nèi)的特征恢復(fù)，得到訓(xùn)練用修復(fù)圖像；

判別器根據(jù)完整行人圖像對訓(xùn)練用修復(fù)圖像進行判斷，并根據(jù)判斷結(jié)果對生成對抗網(wǎng)絡(luò)進行參數(shù)調(diào)整，得到訓(xùn)練完成的圖像修復(fù)網(wǎng)絡(luò)；

所述分別對修復(fù)后行人圖像和分割后行人圖像進行特征提取并將提取的特征進行相似性度量，檢索得到同一行人的其他圖像這一步驟，其具體包括：

將修復(fù)后行人圖像輸入預(yù)訓(xùn)練的特征提取模塊，得到第一特征表示；

將分割后行人圖像輸入預(yù)訓(xùn)練的特征提取模塊，得到第二特征表示；

計算第一特征表示和第二特征表示的歐氏距離，進行相似性度量并排序，選擇相似度高的圖像作為檢索結(jié)果，檢索出同一行人的其他圖像。

2.根據(jù)權(quán)利要求1所述一種基于實例分割和圖像修復(fù)的帶遮擋行人重識別方法，其特征在于，所述獲取待查圖像并對待查圖像進行實例分割和圖像修復(fù)處理，得到修復(fù)后行人圖像這一步驟，其具體包括：

獲取待查圖像；

基于預(yù)訓(xùn)練的實例分割模型對待查圖像進行實例分割處理，得到目標行人圖像；

基于預(yù)訓(xùn)練的圖像修復(fù)網(wǎng)絡(luò)對目標行人圖像進行圖像修復(fù)，得到修復(fù)后行人圖像。

3.根據(jù)權(quán)利要求2所述一種基于實例分割和圖像修復(fù)的帶遮擋行人重識別方法，其特征在于，所述預(yù)訓(xùn)練的實例分割模型采用深度卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建而成，包括卷積層、激活層、池化層和反卷積層。

4.根據(jù)權(quán)利要求3所述一種基于實例分割和圖像修復(fù)的帶遮擋行人重識別方法，其特征在于，所述預(yù)訓(xùn)練的特征提取模塊的訓(xùn)練步驟包括：

從行人圖像訓(xùn)練集中獲取行人圖像和對應(yīng)的真實標簽；

將行人圖像輸入到特征提取模塊并得到特征表示，生成預(yù)測標簽；

根據(jù)預(yù)測標簽和對應(yīng)的真實標簽計算損失函數(shù)得到訓(xùn)練誤差；

重復(fù)訓(xùn)練步驟直至訓(xùn)練誤差小于預(yù)設(shè)值，得到訓(xùn)練完成的特征提取模塊。