[發明專利]基于序列上下文關系學習的行人屬性識別方法和識別系統

有效

• 申請號: 201910862510.2
• 申請日: 2019-09-12
• 公開（公告）號: CN110598631B
• 公開（公告）日: 2021-04-02
• 發明（設計）人: 齊美彬;吳晶晶;蔣建國;楊艷芳;楊玉兵;周國武;許紹清;汪偉
• 申請（專利權）人: 合肥工業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 常虹

1.基于序列上下文關系學習的行人屬性識別方法，其特征在于，包括訓練階段和識別階段；所述訓練階段的步驟為：

(1)建立圖像豎直方向編碼網絡，所述編碼網絡將圖像在豎直方向編碼為長度為M的圖像序列P＝[P₁,P₂,…,P_M]；M為圖像序列的長度；

(2)建立屬性映射表，所述屬性映射表中定義了圖像中行人的屬性；根據屬性映射表將行人屬性編碼為屬性序列A＝[A₁,A₂,…,A_N]；N為屬性種類總數；

(3)建立類內注意力模型，所述類內注意力模型計算圖像序列P各元素間的上下文關系P″_m和屬性序列A各元素間的上下文關系A″_n，得到圖像上下文關系序列P″＝[P₁″,P″₂,…,P″_M]和屬性上下文關系序列A″＝[A″₁,A″₂,…,A″_N]；其中P″_m表示圖像序列P對其第m個元素的注意力；A″_n表示屬性序列A對其第n個元素的注意力；m＝1,2,…,M，n＝1,2,…,N；

(4)建立類間注意力模型，所述類間注意力模型計算圖像上下文關系序列P″與屬性上下文關系序列A″中每個元素的注意力，構成關系序列PA″＝[PA″₁,PA″₂,…,PA″_N]；PA″_n表示圖像上下文關系序列P″對屬性上下文關系序列A″中第n個元素A″_n的注意力；

(5)構建訓練樣本集，所述訓練樣本集中的圖像為行人全身圖像，并對圖像中的行人標定每個屬性標簽g_n和類別標簽w；

將樣本集中的圖像輸入圖像豎直方向編碼網絡，將樣本圖像中的行人屬性序列初始化為隨機值；

通過最小化損失函數的值，得到訓練好的圖像豎直方向編碼網絡、類內注意力模型和類間注意力模型；所述損失函數包括屬性損失和行人識別損失；

所述屬性損失為：

其中Laⁿ為第n個屬性的損失，Kⁿ為第n個屬性的類別數，p_a(k)為第n個屬性為第k類的概率；當k＝g_n時，q_a(k)＝1，否則q_a(k)＝0；g_n為訓練樣本中行人第n個屬性的真實標簽；

所述行人識別損失為：

其中p_ID(c)為樣本行人屬于第c類的概率；C為行人類別總數；當c＝w時，q_ID(c)＝1，否則q_ID(c)＝0；w為訓練樣本中行人的真實類別標簽；

總的損失函數為：L_final＝L_a+L_ID；

所述識別階段的步驟為：

(6)將待識別圖像中行人的屬性序列初始化為隨機值，且p≠q時待識別圖像輸入到圖像豎直方向編碼網絡中，得到圖像序列A^t和P^t經過類內注意力模型，得到屬性上下文關系序列A″_t和圖像上下文關系序列P″_t；A″_t和P_t″經過類間注意力模型得到圖像與屬性之間的關系序列PA″_t；PA″_t經過softmax層，得到待識別圖像中行人每個屬性屬于該屬性每個類別的概率，選擇概率值最大的類別作為該屬性的類別。

2.根據權利要求1所述的基于序列上下文關系學習的行人屬性識別方法，其特征在于，所述圖像豎直方向編碼網絡采用resnet50的殘差網絡結構。