[發明專利]一種聯合局部區域檢測與多級特征抓取的行人多屬性識別方法

在審

• 申請號: 202110508765.6
• 申請日: 2021-05-12
• 公開（公告）號: CN113139501A
• 公開（公告）日: 2021-07-20
• 發明（設計）人: 樓群
• 申請（專利權）人: 深圳市七誠科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種聯合局部區域檢測與多級特征抓取的行人多屬性識別方法，包括行人分割模塊、特征融合模塊和多任務學習模塊，其特征在于：所述行人分割模塊、特征融合模塊和多任務學習模塊融合成一個端到端的框架；

行人分割模塊，利用注意力機制將行人與環境分離，消除外界環境的干擾；

特征融合模塊，利用卷積神經網絡對不同屬性區域進行定位檢測，并抓取不同層級屬性特征，通過各層級特征之間的融合，以此利用低層和中層屬性對高層屬性進行推測，并且高層屬性可用來指導低層和中層屬性；

多任務學習模塊，建立多層級任務分支與自適應加權損失函數以在不同級特征上進行多屬性學習，結合不同層級屬性的識別結果，并增加行人身份信息作為輔助，完成最終的多屬性識別；

一種聯合局部區域檢測與多級特征抓取的行人多屬性識別方法，包括以下過程：

S1.數據集準備

準備多個數據集用以訓練和測試模型，常用的行人屬性數據集有PETA、RAP、PA-100K、Market-1501等；

S2.行人圖像分割

從收集到的數據集中選取一批量行人圖像用作模型訓練，使用分割模塊產生行人整個身體的mask掩模，具體采用的方法是MASK R-CNN，將輸入的原始行人圖像通過Mask R-CNN得到相應的mask遮罩，該過程直接使用訓練好的Mask R-CNN模型即可；

S3.圖像融合

使用分割模塊中的乘法層對原始圖像和mask掩模圖進行融合在融合之前需對mask掩膜圖進行二值化處理，即行人身體部分的像素灰度值置1，而環境部分像素灰度值置0，將像素灰度值1保留，濾除像素灰度值0，得到沒有環境信息的融合行人圖像，再將該融合的行人圖像作為輸入圖像進入骨干網絡；

S4.局部區域檢測

經過上述步驟S1-S3，已經濾除環境干擾信息，由于行人屬性往往存在于行人圖像的特定區域，通過局部區域檢測，建立屬性與區域的對應關系；

S5.建立骨干網絡

采用Darknet-53作為骨干網絡，通過訓練使網絡能夠完成局部屬性特定區域的定位，并能產生邊界框和置信度，然后將行人圖像輸入骨干網絡；

S6.多級特征抓取與融合

分別抓取Darknet-53中的低層、中層和高層特征，利用基于卷積的多分支群融合方法對多層級特征進行融合，利用低層級特征與中層級特征對高層級特征進行推理，而高層級特征用于指導中層級特征與低層級特征；

S7.多層級任務劃分

通過多層級特征融合后，得到低層級、中層級和高層級一共三個層級上的融合特征，分別進行多屬性預測；

S8.多屬性識別

構建一種多層級自適應加權損失函數，在多層級上分別進行多屬性預測，得到各屬性在不同層級上的預測值，在三個層級上進行逐元素比較，選取其中最大的值作為該屬性最終的預測值。

2.根據權利要求1所述的一種聯合局部區域檢測與多級特征抓取的行人多屬性識別方法，其特征在于：所述步驟S1中的Mask R-CNN與Faster R-CNN采用了相同的兩階段步驟：首先是域提案網絡，用于尋找相關的感興趣區域(Rol)，然后對找到的每個Rol進行分類、定位，mask分支就是應用在每一個Rol上的一個小的全卷積網絡(FCN)，以像素到像素的方式預測分割mask。

3.根據權利要求1所述的一種聯合局部區域檢測與多級特征抓取的行人多屬性識別方法，其特征在于：所述步驟S3中的圖像融合過程采用的是逐元素相乘的方法，該方法可以保留行人圖像中行人的身體部分信息，而濾除環境信息，最終得到沒有環境信息的行人圖像。

4.根據權利要求1所述的一種聯合局部區域檢測與多級特征抓取的行人多屬性識別方法，其特征在于：所述步驟S5中的Darknet-53是Yolov3網絡中的骨干網絡，具體的網絡結構見附圖3。

5.根據權利要求1所述的一種聯合局部區域檢測與多級特征抓取的行人多屬性識別方法，其特征在于：所述步驟S1中的行人屬性數據集Market-1501需要使用屬性標簽進行輔助使用。