[發明專利]一種基于深度條件隨機場的行人重識別方法和系統

有效

• 申請號: 202011020822.8
• 申請日: 2020-09-25
• 公開（公告）號: CN112132059B
• 公開（公告）日: 2021-04-20
• 發明（設計）人: 侯建華;黃子源;項俊;王陳燕;林俊杰
• 申請（專利權）人: 中南民族大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 武漢臻誠專利代理事務所(普通合伙) 42233
• 代理人: 宋業斌

1.一種基于深度條件隨機場的行人重識別方法，其特征在于，包括以下步驟：

(1)獲取行人重識別數據集；

(2)從步驟(1)獲取的行人重識別數據集中獲取K個行人中每個行人對應的所有行人圖片，針對K個行人中的每一個行人而言，從其對應的行人圖片中任意獲取一張行人圖片作為目標行人圖片，從其對應的行人圖片中獲取N張除目標行人圖片之外的行人圖片構成該行人對應的正樣本圖片集合，從行人重識別數據集中獲取M張不與該行人對應的行人圖片構成該行人對應的負樣本圖片集合，該行人對應目標圖片、該行人對應的正樣本圖片集合中的所有N張行人圖片、以及該行人對應的負樣本圖片集合中的所有M張行人圖片共同構成該行人對應的圖片組，即1+M+N張圖片，所有K個行人對應的圖片組構成圖片組集合；其中K是大于等于1的自然數，M的取值是大于等于1，且小于行人重識別數據集中行人圖片總數減去該行人對應的行人圖片的總數，N的取值是大于等于1，且小于該行人對應的行人圖片的總數；

(3)針對步驟(2)中獲得的圖片組集合中的每一個圖片組而言，將其中的目標圖片、以及該圖片組中除該目標圖片外的每一張圖片作為圖片對輸入訓練好的雙胞胎網絡的兩個分支中，以分別得到兩個特征向量，并利用該雙胞胎網絡模型中的二分類神經元對這兩個特征向量進行特征度量，以獲取圖片組中這一圖片對之間的相似度與不相似度，圖片組中所有圖片對所對應的相似度與不相似度分別構成圖片組對應的第一相似度集合和第一不相似度集合；

(4)針對步驟(2)中獲得的圖片組集合中的每一個圖片組而言，取出其中的目標圖片、以及該圖片組中除該目標圖片外的任意兩張圖片構成三元組，將其輸入與步驟(3)相同的、訓練好的雙胞胎網絡中，以獲取這三元組對應的三個特征向量，并將這三個特征向量輸入訓練好的聯合概率分布網絡中，以獲取三元組中兩兩圖片之間的相似度、以及不相似度，圖片組中的所有三元組所對應的相似度與不相似度分別構成圖片組對應的第二相似度集合和第二不相似度集合；其中聯合概率分布網絡采用雙向長短時記憶網絡LSTM，步長設置為3；

(5)針對步驟(2)中獲得的圖片組集合中的每一個圖片組而言，將其中的目標圖片、以及該圖片組中除該目標圖片外的每一張圖片作為圖片對輸入訓練好的混合網絡中，以得到每一對圖片對在該圖片組上對應的全局最優匹配解；混合網絡包括順次相連的雙胞胎網絡、聯合概率分布網絡、以及圖模型，其中圖模型是條件隨機場CRF模型；

(6)將步驟(5)得到的所有圖片組對應的全局最優匹配解按照其中的相似度從大到小進行排序，并將相似度最大的一個或多個目標圖片所對應的圖片組中的行人圖片作為重識別結果輸出。

2.根據權利要求1所述的行人重識別方法，其特征在于，步驟(3)是選擇在ImageNet數據集上預訓練好的ResNet-50卷積神經網絡作為雙胞胎網絡兩路輸入的支干，每一圖片對的兩張圖片分別輸入兩路支干，以提取對應的特征向量，再使用雙胞胎網絡中的二分類神經元對得到的兩個特征向量進行特征度量，輸出它們之間的相似度與不相似度。