[發(fā)明專利]一種基于三重損失的改進的神經(jīng)網(wǎng)絡(luò)行人再識別方法

有效

• 申請?zhí)枺?/td>: 201611061867.3
• 申請日: 2016-11-28
• 公開（公告）號: CN106778527B
• 公開（公告）日: 2019-11-12
• 發(fā)明（設(shè)計）人: 舒泓新;蔡曉東;陳昀
• 申請（專利權(quán)）人: 中通服公眾信息產(chǎn)業(yè)股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 濟南智圓行方專利代理事務(wù)所(普通合伙企業(yè)) 37231
• 代理人: 張玉琳

1.一種基于三重損失的改進的神經(jīng)網(wǎng)絡(luò)行人再識別方法，其特征在于，所述識別方法包括以下步驟：

步驟S1：構(gòu)建樣本數(shù)據(jù)庫，并對樣本數(shù)據(jù)庫中的每一張樣本圖片通過平移、旋轉(zhuǎn)和鏡像方式進行數(shù)量擴充，由原來的一張樣本圖片擴充到八張樣本圖片組成一個小數(shù)據(jù)集；

步驟S2：建立正負樣本庫；隨機選取屬于同一小數(shù)據(jù)集的兩張樣本圖片左右拼接作為正樣本，隨機選取屬于不同小數(shù)據(jù)集的兩張樣本圖片左右拼接作為負樣本；隨機選取兩個正樣本和一個負樣本組成三元組，或隨機選取兩個負樣本和一個正樣本組成三元組；

步驟S3：制作正負樣本庫的樣本標(biāo)簽，將正樣本標(biāo)記為1，負樣本標(biāo)記為0，通過caffe框架提供的工具將樣本格式轉(zhuǎn)換為lmdb格式并生成對應(yīng)的均值文件；

步驟S4：搭建基于三重損失的神經(jīng)網(wǎng)絡(luò)，所述神經(jīng)網(wǎng)絡(luò)由三個并行的卷積神經(jīng)網(wǎng)絡(luò)連接一個三重損失層構(gòu)成；所述神經(jīng)網(wǎng)絡(luò)設(shè)有三個輸入，包括兩個相同樣本輸入和一個不同樣本輸入；所述三重損失層采用三重損失函數(shù)；

步驟S5：所述步驟S2中構(gòu)成的同一個三元組的三個元素作為神經(jīng)網(wǎng)絡(luò)的三個輸入，對神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練；

步驟S6：將待測圖片以及擴充后的樣本數(shù)據(jù)庫中的每張樣本圖片輸入到訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)中，神經(jīng)網(wǎng)絡(luò)另一輸入為零或無輸入；再利用歐式距離計算出神經(jīng)網(wǎng)絡(luò)輸出的兩張輸入圖片的特征向量的距離，并查詢出升序排列出至少前20位的歐式距離，排序越靠前的歐式距離對應(yīng)的樣本圖片與待測圖片的相似度越高；

其中，所述卷積神經(jīng)網(wǎng)絡(luò)包括五個并行的通道，其中一個通道用于提取全局特征，具體結(jié)構(gòu)為：一個卷積層C1接池化層P1接卷積層C2接池化層P2接全連接層；另外四個通道用于提取局部特征，具體結(jié)構(gòu)均為：一個卷積層C1接卷積層C2接全連接層；其中五個通道中的全連接層為一個，即五個通道的特征向量通過最后的全連接層，生成輸入圖片的最終特征向量；在輸入卷積神經(jīng)網(wǎng)絡(luò)前，先將輸入圖片按照圖片高度等分為四個局部圖片，一個完整圖片作為卷積神經(jīng)網(wǎng)絡(luò)全局特征提取通道的輸入，四個局部圖片作為卷積神經(jīng)網(wǎng)絡(luò)四個局部特征提取通道的輸入。

2.根據(jù)權(quán)利要求1所述的基于三重損失的改進的神經(jīng)網(wǎng)絡(luò)行人再識別方法，其特征在于，所述步驟S1中樣本圖片數(shù)量擴充具體為：每一張樣本圖片分別進行左上、右上、左下、右下四個方向的平移，平移的尺度為：y＝height×(±0.5)，x＝width×(±0.5)；沿以樣本圖片的中心分別按逆時針和順時針分別旋轉(zhuǎn)5°；對樣本圖片進行鏡像，通過上述方式，一張樣本圖片擴充為八張樣本圖片。

3.根據(jù)權(quán)利要求1或2所述的基于三重損失的改進的神經(jīng)網(wǎng)絡(luò)行人再識別方法，其特征在于，所述步驟S5中，采用三重損失函數(shù)針對三元組中的每個元素或樣本，訓(xùn)練一個參數(shù)共享或者不共享的網(wǎng)絡(luò)，得到三個元素對應(yīng)的特征表達，分別記為

所述三重損失函數(shù)如下：

其中，從正負樣本庫中隨機選的一個正樣本或負樣本，定義其名稱為Anchor并即為x_a，然后再隨機選取的兩個與Anchor屬于同一類的樣本和屬于不同類的樣本，分別定義其名稱為Positive并記為x_p和Negative并記為x_n，由此構(gòu)成一個(Anchor，Positive，Negative)三元組，其中，三重損失函數(shù)中α，為x_a與x_n之間距離和x_a與x_p之間距離的間隔。