[發明專利]一種二值化三元組孿生網絡模型的行人重識別方法及系統

在審

• 申請號: 201910369005.4
• 申請日: 2019-05-05
• 公開（公告）號: CN110084215A
• 公開（公告）日: 2019-08-02
• 發明（設計）人: 周芳宇;陳淑榮
• 申請（專利權）人: 上海海事大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 上海元好知識產權代理有限公司 31323
• 代理人: 徐雯瓊;章麗娟

本發明公開一種二值化三元組孿生網絡模型的行人重識別及方法，包含：三路卷積神經網絡，分別輸入正、負樣本與檢測樣本圖像，提取圖像特征，每路卷積神經網絡包含卷積層、池化層和全連接層；每路卷積神經網絡的卷積層、池化層和全連接層相同且權值參數共享，并對權值參數以及對卷積層與池化層之間的激活函數值進行二值化；Softmax層，與各全連接層連接，將卷積神經網絡輸出的特征進行分類和歸一化；Triplet loss驗證函數模塊，與Softmax層連接，接收歸一化分類層輸出的樣本特征，進行樣本對的相似性計算。本發明獲得鑒別能力更強的深度學習模型，更好地解決不同行人圖片內容上相似而相同行人圖片又因為光照、場景變化、人體姿態多樣化的原因導致內容差異大的問題。

技術領域

本發明涉及計算機視覺圖像與視頻處理領域，特別涉及一種二值化三元組孿生網絡模型的行人重識別方法及系統。

背景技術

行人重識別通常可以被視為一個圖像檢索問題，即從不同的相機中來匹配行人。給定一張查詢的行人圖像，行人重識別旨在從非重疊攝像機視角下的行人圖像庫中找出與該行人是同一個行人的圖像。

由于攝像機捕獲的行人圖像受到光照、姿勢、視角、圖像分辨率、相機設置、遮擋和背景雜亂等影響，會出現同一個行人圖像發生很大的變化而不同行人穿同樣衣服或有相似外觀時反而識別為同一個人的現象。

因此，行人重識別仍是計算機視覺中的一項具有挑戰性的任務。2012年以來，以卷積神經網絡(CNN)為代表的深度學習模型在計算機視覺領域取得了巨大成功。同時，也帶動了行人再識別領域的研究。相比于傳統手工設計行人特征的行人再識別方法，基于CNN的行人重識別方法可以更加有效地克服行人的復雜變化，取得了更高的性能。但是目前的基于CNN的行人重識別方法仍然不能很好地解決不同行人圖片內容上相似而相同行人圖片又因為光照、場景變化、人體姿態多樣化的原因導致內容差異大的問題。

發明內容

本發明的目的在于提供一種二值化三元組孿生網絡模型的行人重識別方法及系統，在通用的Siamese模型的基礎上設計了權值共享的聯合損失函數式三元組網絡模型，由于檢測的行人圖像受到光照、姿勢、視角、圖像分辨率、相機設置、遮擋和背景雜亂等影響，會出現同一個行人圖像發生很大的變化而不同行人穿同樣衣服或有相似外觀時反而識別為同一個人的現象，本發明提出的該網絡結構結合分類損失函數Softmax loss與驗證函數Triplet loss同時訓練來構建行人重識別的網絡模型，最終可以獲得鑒別能力更強的深度學習模型，可以更好地解決不同行人圖片內容上相似而相同行人圖片又因為光照、場景變化、人體姿態多樣化的原因導致內容差異大的問題。

為了達到上述目的，本發明通過以下技術方案實現：

一種二值化三元組孿生網絡模型的行人重識別系統，包含：

三路卷積神經網絡，其分別輸入正樣本、負樣本與檢測樣本圖像，提取對應的圖像特征；每個卷積神經網絡包含：輸入層，其提取樣本圖像對的特征；卷積層，與所述輸入層連接，用于提取所述圖像樣本的圖像特征；池化層，與所述卷積層連接，通過降維處理得到特定特征區域，并整合成具體維度值的特征向量，發送給全連接層；其中，每路的所述卷積神經網絡的卷積層、池化層和全連接層相同且權值參數共享，且對權值參數進行二值化以及對每路卷積神經網絡中卷積層與池化層之間的激活函數值進行二值化；

歸一化分類層，其與所述三個卷積神經網絡的各個全連接層連接，將所述卷積神經網絡輸出的特征進行分類和歸一化；

誤差損失驗證函數模塊，其與所述歸一化分類層連接，接收所述歸一化分類層輸出的樣本特征，進行樣本對的相似性計算。

優選地，所述歸一化分類層為Softmax層；

所述Softmax層的Softmax Loss函數的公式為：