[發(fā)明專利]基于序列上下文關系學習的行人屬性識別方法和識別系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201910862510.2
• 申請日: 2019-09-12
• 公開（公告）號: CN110598631B
• 公開（公告）日: 2021-04-02
• 發(fā)明（設計）人: 齊美彬;吳晶晶;蔣建國;楊艷芳;楊玉兵;周國武;許紹清;汪偉
• 申請（專利權）人: 合肥工業(yè)大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 常虹

本發(fā)明公開了一種基于序列上下文關系學習的行人屬性識別方法和識別系統(tǒng)，其中行人屬性識別方法包括：建立并訓練行人識別系統(tǒng)；將待識別圖像在豎直方向編碼為圖像序列，屬性序列初始化為隨機值；利用訓練好的行人識別系統(tǒng)計算圖像上下文關系序列和屬性上下文關系序列；計算圖像上下文關系序列對屬性上下文關系序列中每個元素的注意力；計算每個屬性屬于該屬性每個類別的概率，選擇概率值最大的類別作為該屬性的類別。該方法充分利用了圖像序列間的上下文關系、屬性間的上下文關系以及圖像與屬性間的上下文關系，提高了行人屬性識別的準確率。

技術領域

本發(fā)明屬于行人屬性識別技術領域，具體涉及一種結合圖像與屬性類內和類間關系的行人識別方法與系統(tǒng)。

背景技術

行人屬性識別的任務就是去預測圖像中的行人的屬性標簽，包括年齡，性別，衣服的顏色等。這些屬性中包含著能夠描述行人外觀豐富的語義信息，能夠給行人識別任務帶來有益的信息，具有較高的應用價值，從而其獲得了廣泛的關注。其主要難點在于行人角度和照片光照的變化以及遠距離會影響到識別的準確度。

為了提交行人屬性識別的準確度，目前的方法大多通過輸入一整張圖像進入分類網絡，分別將每一種屬性做分類預測，例如性別為一個男或者女的二分類預測。雖然上述方法取得了較好的結果，但是其仍然忽略了圖像間以及屬性間的問題。屬性間不同的元素，包含著大量的上下文關系，例如穿裙子的人基本都是女性。同時圖像間的不同元素，也包含著大量相互關系，例如圖像中的不同元素包括著行人的不同身體區(qū)域，這些區(qū)域之間存在著內在的空間關系。這些上下文關系均將有助于提高識別的準確率。因此有些方法采用將圖像手動分塊或是將屬性手動分組并來獲取圖像間或是屬性間的元素間上下文關系，但是這些方法需要利用先驗知識來將圖像分成固定數量的塊數或是將屬性分成固定的組，這樣固定的分組使得屬性間上下文關系的學習具有局限性且有一些不合理，普適性較低，當有新的屬性加入時還需要重新分組。

發(fā)明內容

發(fā)明目的：本發(fā)明旨在提供一種識別準確率較高的行人屬性識別方法，該方法充分利用了圖像序列間的上下文關系、屬性間的上下文關系以及圖像與屬性間的上下文關系，提高了行人屬性識別的準確率。

技術方案：本發(fā)明一方面提供了一種基于序列上下文關系學習的行人屬性識別方法，包括訓練階段和識別階段；所述訓練階段的步驟為：

(1)建立圖像豎直方向編碼網絡，所述編碼網絡將圖像在豎直方向編碼為長度為M的圖像序列P＝[P₁,P₂,…,P_M]；M為圖像序列的長度；

(2)建立屬性映射表，所述屬性映射表中定義了圖像中行人的屬性；根據屬性映射表將行人屬性編碼為屬性序列A＝[A₁,A₂,…,A_N]；N為屬性種類總數；

(3)建立類內注意力模型，所述類內注意力模型計算圖像序列P各元素間的上下文關系P″_m和屬性序列A各元素間的上下文關系A″_n，得到圖像上下文關系序列P″＝[P″₁,P″₂,…,P″_M]和屬性上下文關系序列A″＝[A″₁,A″₂,…,A″_N]；其中P″_m表示圖像序列P對其第m個元素的注意力；A″_n表示屬性序列A對其第n個元素的注意力；m＝1,2,…,M，n＝1,2,…,N；

(4)建立類間注意力模型，所述類間注意力模型計算圖像上下文關系序列P″與屬性上下文關系序列A″中每個元素的注意力，構成關系序列PA″＝[PA″₁,PA″₂,…,PA″_N]；PA″_n表示圖像上下文關系序列P″對屬性上下文關系序列A″中第n個元素A″_n的注意力；