[發明專利]基于部位分割與融合目標人物識別方法

有效

• 申請號: 201811341401.8
• 申請日: 2018-11-12
• 公開（公告）號: CN109558810B
• 公開（公告）日: 2023-01-20
• 發明（設計）人: 張文利;郭向;楊堃;王佳琪
• 申請（專利權）人: 北京工業大學
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V10/764;G06V10/80
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 沈波

1.基于部位分割與融合目標人物識別方法，其特征在于：該方法包含以下步驟，

1)獲取圖像數據集；

圖像數據通過互聯網下載或者攝像機進行獲取，將采集到的大量人物全身圖像，劃分為訓練樣本集和測試樣本集并保存；訓練樣本集和測試樣本集中都包含目標人物圖像即正樣本圖像和其他人物圖像即負樣本圖像；

2)圖像部分分割；

對于采集到的訓練樣本集和測試樣本集進行部位分割，本方法將人物全身圖像部位分割為頭肩部分，軀干部分，腿部部分三部分，并保留全身圖像，作為部位圖像特征集，用于訓練部位分類器；

3)訓練部位分類器；

對于獲得的各部位訓練樣本集，以目標人物的部位為正樣本訓練圖像，其他人物的部位為負樣本訓練圖像，分別訓練對應各部位的部位分類器，輸出各部位識別為目標人物的置信分數；

4)部位分類器融合決策；

對部分分類器預測的置信分數設置部位決策閾值，采用支持向量機SVM訓練獲得每個部位分類器在最終融合階段的權重值，對所有部位分類器進行融合，進而進行分類決策獲得目標人物識別結果；

具體實施過程如下：步驟101：獲取人物整身圖像數據集；

步驟101-1：通過在互聯網下載或者采用攝像機人工采集，獲得包含大量人物的全身圖像的圖像集；

步驟101-2：對圖像集中的圖像進行篩選，并將其劃分為指定目標人物圖像即正樣本圖像和其他人物圖像即負樣本圖像兩個子集，作為訓練樣本集；

步驟102：對數據集中人物圖像進行部位分割，獲得各部位圖像數據集；將訓練樣本集中的每一張人物整身圖像分割為多個身體部位的集合，以分割四部分；將每個人物整身圖像分割為頭肩部分、軀干部分、下肢部分，并且保留整身圖像，共四部分，即將訓練樣本集劃分為四個部位圖像子集；部位分割的方式可以采用手動切分、按照人體比例自動切分或者根據人物不同部位輪廓特征進行自動切分；

步驟103：對分割后的各部位圖像數據集單獨訓練，獲得多個部位分類器；在獲得四個部位圖像子集后，對于每一個身體部位，采用機器學習方法單獨訓練一個部位分類器，訓練部位分類器所采用的基礎分類器可以是決策樹、HOG分類器、Haar-like分類器、神經網絡；采用卷積神經網絡模型作為基礎分類器，但不限于卷積神經網絡模型；獲得頭肩分類器、軀干分類器、下肢分類器和整身分類器四個部位分類器；頭肩分類器中，訓練部位分類器步驟將目標人物的頭肩部分圖像作為正樣本，非目標人物的頭肩部分作為負樣本，輸入到卷積神經網絡中進行提取特征并訓練模型參數，即獲得頭肩分類器；

步驟104：分割待識別人物圖像，將各部位圖像分別輸入到對應的訓練好的部位分類器，獲得各部位識別為目標人物的置信分數；將待識別的人物圖像以步驟102中相同的方式進行部分分割為四部分圖像，然后將各部位圖像分別輸入到步驟103中訓練好的對應的部位分類器，部位分類器輸出各部位識別為目標人物的置信分數；頭肩部位識別為目標人物的分數記為Score_head,軀干部分識別為目標人物的分數記為Score_torse,下肢部分識別為目標人物的分數記為Score_foot,全身部分識別為目標人物的分數記為Score_full；

步驟105：判斷是否存在某部位的置信分數大于預設部位分類器決策閾值；為了避免多部位分類器融合過程中受到極端值影響，設置部位分類器的決策閾值；設置部位分類器決策閾值為0.98；

步驟105-1：當某個部位分類器的預測分數大于該閾值時，認為通過此部分直接判斷為是目標人物，而不需要聯合其他部位分類器的分數進行加權融合得到；頭肩部位分類器中，當待識別人物圖像的頭肩部位識別為目標人物的置信分數大于0.98時，可以直接判定待識別人物圖像為目標人物，輸出識別結果，結束流程；

步驟105-2：當所有部位分類器的預測分數均小于預設部位分類器決策閾值時，轉到執行步驟106；

步驟106：采用SVM訓練獲得各部位分類器在最終聯合分類器中的權重值；將步驟102中各部位訓練樣本集輸入到已訓練完成的對應其身體部位的部位分類器中，獲得四組預測分數Score_head、Score_full、Score_torse、Score_foot以及一組圖像真實類別標簽Labels；以Score_head、Score_full、Score_torse、Score_foot作為線性SVM模型的四個輸入特征，圖像真實標簽Labels作為SVM模型的輸出值，通過線性SVM訓練獲得每個部分分類器在最終聯合分類器中的權重值；

步驟107：加權決策融合所有部位的置信分數，獲得最終的分類決策值；對各部分分類器置信分數進行加權融合計算，得到最終的分類決策值Score_obj，進行目標人物的分類和識別；計算公式表示為：

Score_obj＝W₁*Score_head+W₂*Score_torse+W₃*Score_foot+W₄*Score_full+b

其中W₁、W₂、W₃、W₄為四個部位分類器的權重值，b為偏置項，得到的Score_obj有正負值之分，|Score_obj|的值越大，表明分類的置信水平越高，分類決策的可信度越高；

步驟108：根據最終分類決策值判斷是否為目標人物；對于輸入的一張待識別人物圖像，當分類決策值Score_obj0,則判定該人物為目標人物，Score_obj≤0，則判定該人物為非目標人物，輸出識別結果，流程結束。

2.根據權利要求1所述的基于部位分割與融合目標人物識別方法，其特征在于：步驟106和步驟107采用步驟A06實現，步驟108采用步驟A07實現：

步驟A06：使用預設的先驗權重值，加權融合所有部位分類器的置信分數，獲得最終的置信分數；根據四個身體部位在最終分類決策中的重要性，依次設置為W₁，W₂，W₃，W₄，并且滿足權重之和W₁+W₂+W₃+W₄＝1的規則，其權重值代表每個身體部位對分類決策的影響程度，權重值越大，該部位 對最終分類結果的影響越大，反之則越小；對各部位的置信分數加權融合計算，得到最終的置信分數Score_obj；計算公式表示為：

Score_obj＝W₁*Score_head+W₂*Score_torse+W₃*Score_foot+W₄*Score_full

步驟A07：根據最終置信分數判斷是否為目標人物；對于輸入的一張待識別人物圖像，當最終置信分數Score_obj0.5,則判定該人物為目標人物，Score_obj≤0.5，則判定該人物為非目標人物，輸出識別結果，流程結束。