[發明專利]復雜場景下行人細粒度屬性的檢測與識別方法

有效

• 申請號: 201810295592.2
• 申請日: 2018-03-30
• 公開（公告）號: CN108510000B
• 公開（公告）日: 2021-06-15
• 發明（設計）人: 于重重;馬先欽;周蘭;王鑫
• 申請（專利權）人: 北京工商大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京萬象新悅知識產權代理有限公司 11360
• 代理人: 黃鳳茹

1.一種復雜場景下行人細粒度屬性的識別方法，采用分類模型對檢測出的行人的子部件進行細粒度屬性識別；通過將識別出的屬性分別與行人性別進行關聯分析，選取屬性進行多任務學習；再訓練多任務學習構建的卷積神經網絡模型，并針對多個屬性選出識別正確率最高的卷積神經網絡模型結果，作為最終結果；最后根據決策函數來判斷行人的性別屬性；包括如下步驟：

第一步：定義復雜場景中行人的子部件，將行人子部件表示為X_i＝{x_i1,x_i2,…x_ij,…x_im}，其中，X_i表示行人i，x_ij表示行人i的第j個子部件，i∈(1,M),j∈(1,m)，M是檢測到行人的數量，m表示行人子部件的個數，行人子部件包括行人的頭、上肢和下肢；將行人外在附屬物定義為子部件屬性，用Y_ij＝{y_ij1,y_ij2,…y_ijk,…y_ijn}表示，其中，Y_ij表示行人i的第j個子部件，y_ijk表示行人子部件j的第k個屬性，其中,i∈(1,M)j∈(1,m)，k∈(1,n)，n是行人子部件屬性的個數；

第二步：對復雜場景中行人進行兩次檢測；

利用目標檢測方法模型對行人子部件進行兩次檢測，其中，第一次檢測對行人進行粗粒度檢測，得出行人整體；第二次檢測對行人子部件進行細粒度檢測，檢測得出行人的多個子部件Y_ij；包括如下步驟：

21)選取模型訓練的樣本和測試樣本；設迭代總次數為T，從1到T每次迭代訓練依次完成步驟22)-28)：

22)對輸入到卷積神經網絡模型的訓練樣本進行特征提取；

23)采用聚類方法，通過對數據集中人的標注框聚類，得到人的標注框聚類個數k；然后以k作為候選框的個數，以k個聚類中心框的維度為候選框的維度；

24)利用候選框預測回歸邊框和類別；預測出一幅圖中待檢測行人目標的類別的個數；

25)預測每個回歸邊框的坐標，并且預測每個回歸邊框中含有行人目標的置信度；

26)對卷積神經網絡模型采用3×3和1×1交替三次的卷積層進行檢測分類；

27)采用非極大值抑制，輸出最終結果；

28)根據前向傳播計算過程得到損失函數值，根據損失函數值進行反向傳播更新各層權重；

29)執行步驟22)-28)的迭代操作，首先檢測出行人整體，然后檢測出行人子部件Y_ij；

第三步，對檢測出來的行人子部件進行細粒度屬性識別，得到子部件的屬性；

具體采用模二加的方法，對第二步識別出來的行人子部件Y_ij進行細粒度屬性識別，得到細粒度屬性y_ijk，即子部件的屬性；

第四步，利用分類器融合與判別決策算法，識別得到行人的性別；

首先將第三步識別出的子部件的屬性與行人的性別進行關聯分析，分別求出每個子部件的每個屬性y_ijk與性別M_iu之間的相關系數，得到相關系數矩陣R_k，其中u∈(0,1)，k∈(1,n)；

然后根據置信度從高到低排序，按相關系數從大到小的順序選出L個屬性，構建基于多屬性的多任務學習的CNN模型；

將模型的結果進行融合，采用投票法及決策函數對待識別目標進行最終判決，從而得到行人的性別，即為識別結果；

所述分類器融合與判別決策算法具體包括如下步驟：

41)將第二步選取得到的行人子部件訓練樣本數據和測試樣本數據輸入到卷積神經網絡模型，進行迭代訓練；設迭代總次數為K，每次迭代訓練依次執行步驟42)-46)：

42)采用模二加的方法，對第二步識別出來的行人子部件Y_ij進行細粒度屬性識別，得到細粒度屬性y_ijk；

43)定義M_iu表示行人的性別，通過式1求出y_ijk與性別M_iu之間的相關系數矩陣R_k，并按照置信度從高到低排序選出L個屬性作為多任務學習的子任務p_ijl，其中相關系數最大的屬性作為主要任務，記為p_ij1，其余的作為次要任務；

其中，R_k為相關系數矩陣，y_ijk是第i個行人的第j個部件中的第k個屬性，M_iu是第i個行人的性別u，i∈(1,M),j∈(1,m)，u∈(0,1)；

44)求出每個次要任務與主要任務之間的相關系數r_l，再對每個任務賦予權值w_q；具體執行如下操作：

首先，利用式2分別求出每個次要任務與主要任務之間的相關系數r_l，其中l∈(1,L)；

式2中，r_l是次要任務l與主要任務之間的相關系數,p_ij1是相關系數最大的主要任務；

然后，按照與主要任務相關性越大的次要任務越多參與主要任務的決策，與主要任務相關性越小的次要任務越少參與主要任務的決策，將次要任務與主要任務之間的相關系數按照置信度從高到底排序，通過式3對每個任務賦予權值w_q：

其中，h_q表示按照每個次要任務與主要任務之間相關性的等級取相應的值，q∈(1,L)；

45)通過式4將每個任務分別與性別通過模二加進行編碼，得到每個任務與性別之間的函數關系：

其中，i＝1,2,3,…,M；q＝1,2,…,L；attribute_i1表示性別屬性；attribute_iq表示多任務的屬性；

通過式5對分類器的融合結果采用Arrogance投票法得到各自的最佳識別結果：

其中，Z表示分類器的個數，Q表示屬性類別個數，C表示分類矩陣；

46)再通過決策函數式6計算得到目標的最終判別結果：

其中，i＝1,2,……,M，C_i代表了每個行人性別的最終判斷結果，w_q表示每個任務的權重；

通過K次迭代，將步驟45)中的投票法式5及式4進行融合，得到每個行人性別的最終判別結果C_i，由此識別出行人的性別。