[發明專利]基于人體解析與衣著顏色相結合的行人重識別方法及系統

在審

• 申請號: 202010711107.2
• 申請日: 2020-07-22
• 公開（公告）號: CN112001251A
• 公開（公告）日: 2020-11-27
• 發明（設計）人: 宋勇;許金輝;李貽斌;李彩虹;龐豹;許慶陽;袁憲鋒
• 申請（專利權）人: 山東大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 黃海麗

本申請公開了基于人體解析與衣著顏色相結合的行人重識別方法及系統，包括：獲取待識別的目標行人圖像；將待識別目標行人圖像，輸入到預先構建的人體解析模型中，輸出待識別目標行人的身體部位類別；對待識別目標行人圖像，提取各類別身體部位的顏色特征；依據提取的各類別身體部分的顏色特征，從候選圖片中識別出目標行人。

技術領域

本申請涉及計算機視覺技術領域，特別是涉及基于人體解析與衣著顏色相結合的行人重識別方法及系統。

背景技術

本部分的陳述僅僅是提到了與本申請相關的背景技術，并不必然構成現有技術。

行人重識別(Person Re-identification,ReID)是指在非重疊視域的多攝像頭網絡中進行的行人匹配，即某個特定的行人被監控攝像頭在某一時刻捕捉到圖像后通過計算機將該圖像作為樣本圖像去檢索其他攝像頭中是否包含該行人的蹤跡，因此行人重識別問題亦稱為非重疊視域攝像頭網絡中的行人檢索問題，也被稱為跨鏡頭追蹤技術。在2005年Zajdel等人在多鏡頭追蹤中引入了行人重識別，但是Gheissari等人在2006年的CVPR第一次以獨立的視覺任務被提出后，此后的相關研究才開始大量的出現。

人臉識別技術經過近幾年的發展，已較為成熟，在眾多的場景與產品中都已有應用，但人臉識別技術只能用到人體的人臉信息，放棄了人體其他重要信息的利用，例如衣著、姿態、行為等，另外在應用時必須要有清晰的人臉正面照片，但在很多場景下無法滿足要求，例如低頭、背影、模糊身形、帽子遮擋等。而跨鏡頭追蹤技術正好能夠彌補人臉識別的這些不足，行人重識別能夠根據所追蹤行人的附屬物品、容貌姿態及著裝等信息去辨別所檢索的行人。正因為近年來國家對安防產業的愈加重視，跨鏡頭追蹤已成為安防領域的重要研究方向，這也是人工智能的認知水平逐漸提高的重要體現。

行人重識別起初是利用顏色、紋理等手工圖像特征表述進行研究，由于高維視覺特征不能在樣本改變時獲取不變因素，因此這些行人重識別模型中最為關鍵的因素是距離的度量，即通過度量學習獲取ROI(Region Of Interest，感興趣區域)的判別性特征。但是行人重識別算法若基于手工特征的話，度量學習和特征提取這兩步是分離使用的，無法相互利用二者間的相關信息，因此無法取得最佳性能。

目前，大量的行人重識別研究均基于深度學習開展進行。廈門大學鐘準、鄭良參與指導的團隊，通過CycleGAN完成圖像風格遷移，在訓練集中增加更多樣本來了解攝像機之間的風格差異，解決個人身份識別中的數據稀缺問題，并學習不同攝像機之間的不變特征。北京大學高文團隊提出了一種針對ReID的生成式對抗網絡PTGAN，這種網絡可以對ReID的不同數據集進行行人圖片的背景遷移，即確保包含行人自身的前景不變而將背景轉換成特定數據集的背景風格。中科院自動化所孫哲南課題組主要針對partial ReID問題，對有遮擋情況下的重識別問題進行相關研究。他們提出的算法通過卷積神經網絡(ConvolutionalNetural Network,CNN)網絡進行圖像空間域的重新構建，把輸出空間域特征圖與輸入圖像尺寸保持一致。自動化所侯增廣課題組王貫安博士的論文，他提出通過聯合像素和特征對齊來解決夜間行人重識別問題，論文中的AlignGAN方法比其他方法具有明顯的優勢。

在實現本申請的過程中，發明人發現現有技術中存在以下技術問題：

雖然研究人員在行人重識別方向上取得了大量卓有成效的成果，但是與此同時，深度學習在行人重識別方向的落地也存在著許多問題，如在實際場景中行人衣物會受到光照、角度、遮擋、清晰度等多種條件影響，傳統方法對行人衣物和相關屬性識別十分困難。

發明內容

為了克服上述深度學習對傳統顏色特征識別性能較差的技術不足，，本申請提供了基于人體解析與衣著顏色相結合的行人重識別方法及系統；

第一方面，本申請提供了基于人體解析與衣著顏色相結合的行人重識別方法；

基于人體解析與衣著顏色相結合的行人重識別方法，包括：