[發明專利]基于面部朝向的身體左右肢體一致性跟蹤判別方法及系統

在審

• 申請號: 201911082183.5
• 申請日: 2019-11-07
• 公開（公告）號: CN110826495A
• 公開（公告）日: 2020-02-21
• 發明（設計）人: 田京蘭;王政元;蔣彥;馮志全
• 申請（專利權）人: 濟南大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06T7/246
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 黃海麗

1.基于面部朝向的身體左右肢體一致性跟蹤判別方法，其特征是，包括：

獲取待跟蹤視頻，將待跟蹤視頻輸入到部件檢測器中，輸出被跟蹤目標的每個肢體部件的若干個識別結果以及每個識別結果對應的置信度；

根據置信度選出面部區域，估計被跟蹤目標的面部朝向；根據面部朝向判斷人體的面向位置；

根據面部朝向，對被跟蹤目標每個肢體部件的所有識別結果，按不同的優先級順序進行選取，獲得各肢體的候選集；

最后，對候選集利用圖結構模型PS進行推斷以獲得肢體最終姿態。

2.如權利要求1所述的方法，其特征是，所述每個識別結果對應的置信度，是指每一部件檢測器對每一幀進行滑窗掃描后給出的所有檢測結果。

3.如權利要求1所述的方法，其特征是，估計被跟蹤目標的面部朝向的具體步驟包括：

S201：將視頻每一幀圖像中被跟蹤目標的頭部區域利用矩形框進行標記；矩形框即為頭部區域邊界框；

S202：從頭部區域邊界框中，識別膚色區域；

S203：根據不同面部朝向的模板確定膚色區域在頭部邊界框中的位置；

根據膚色區域在頭部邊界框中的位置進行面部朝向判斷：如果膚色區域在頭部邊界框中位于左下區域，則認為面部朝向右側；如果膚色區域在頭部邊界框中位于右下區域，則認為面部朝向左側。

4.如權利要求3所述的方法，其特征是，所述S202中，從頭部區域邊界框中，識別膚色區域；具體是采用基于YCrCb顏色空間的膚色檢測器來生成頭部區域邊界框中所包含的皮膚區域的二值圖像。

5.如權利要求1所述的方法，其特征是，根據面部朝向判斷人體的面向位置的具體步驟包括：如果面部朝向左側，則人體面向左側；如果面部朝向后側，則人體面向右側。

6.如權利要求1所述的方法，其特征是，根據面部朝向，對被跟蹤目標每個肢體部件的所有識別結果，按不同的優先級順序進行選取，獲得各肢體的候選集；具體步驟包括：

S301：如果根據面部朝向判斷出人體面向右側，則將左側肢體部件賦予高優先級，即首先對左側肢體部件的檢測結果進行選取，得到左側肢體部件的候選集；然后再在左側肢體部件的候選基礎上，選取右側肢體部件，得到右側肢體部件的候選集；

S302：如果根據面部朝向判斷出人體面向左側，則將右側肢體部件賦予高優先級，即首先對右側肢體部件的檢測結果進行選取，得到右側肢體部件的候選集；然后再在右側肢體部件的候選基礎上，選取左側肢體部件，得到左側肢體部件的候選集。

7.如權利要求1所述的方法，其特征是，對候選集利用圖結構模型PS進行推斷以獲得肢體最終姿態，具體是指：

其中，E^u表示檢測肢體部件的表觀模型，E^p表示肢體之間的關聯模型，對于肢體部位鉸鏈式的人體結構表示為L＝[l₁,...,l_N]，相應的圖像信息描述為D＝[d₁,...,d_N]，N是定義的肢體部位的數目；在t時刻，人體結構表示為L_t，圖像信息用D_t表示，每一肢體部件用表示，i表示肢體部件編號，N表示肢體部件的總數，i～j表示直接關聯的兩個肢體部件。

8.基于面部朝向的身體左右肢體一致性跟蹤判別系統，包括：

肢體部件檢測模塊，其被配置為：獲取待跟蹤視頻，將待跟蹤視頻輸入到部件檢測器中，輸出被跟蹤目標的每個肢體部件的若干個識別結果以及每個識別結果對應的置信度；

面部朝向估計模塊，其被配置為：根據置信度選出面部區域，估計被跟蹤目標的面部朝向；根據面部朝向判斷人體的面向位置；

人體姿態判別模塊，其被配置為：根據面部朝向，對被跟蹤目標每個肢體部件的所有識別結果，按不同的優先級順序進行選取，獲得各肢體的候選集；最后，對候選集利用圖結構模型PS進行推斷以獲得肢體最終姿態。