[發明專利]基于面部朝向的身體左右肢體一致性跟蹤判別方法及系統

在審

• 申請號: 201911082183.5
• 申請日: 2019-11-07
• 公開（公告）號: CN110826495A
• 公開（公告）日: 2020-02-21
• 發明（設計）人: 田京蘭;王政元;蔣彥;馮志全
• 申請（專利權）人: 濟南大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06T7/246
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 黃海麗

本公開公開了基于面部朝向的身體左右肢體一致性跟蹤判別方法及系統，獲取待跟蹤視頻，將待跟蹤視頻輸入到部件檢測器中，輸出被跟蹤目標的每個肢體部件的若干個識別結果以及每個識別結果對應的置信度；根據置信度選出面部區域，估計被跟蹤目標的面部朝向；根據面部朝向判斷人體的面向位置；根據面部朝向，對被跟蹤目標每個肢體部件的所有識別結果，按不同的優先級順序進行選取，獲得各肢體的候選集；最后，對候選集利用圖結構模型PS進行推斷以獲得肢體最終姿態。

技術領域

本公開涉及人體姿態跟蹤技術領域，特別是涉及基于面部朝向的身體左右肢體一致性跟蹤判別方法及系統。

背景技術

本部分的陳述僅僅是提到了與本公開相關的背景技術，并不必然構成現有技術。

目前的人體姿態跟蹤方法傾向于基于檢測的方法，即首先在每一視頻幀中估計人體姿態，然后在連續幀中整合姿態之間的時間和空間相關性，二維人體姿態跟蹤在計算機視覺中是一個重要而且仍然具有挑戰性的問題。為了獲得更好的跟蹤性能，許多研究通過構建穩健的人體表觀模型或建模更復雜的人體結構來提高姿態估計的性能，也有研究人員建議通過層次化的人體結構來建模更真實的身體部件依賴關系。

在實現本公開的過程中，發明人發現現有技術中存在以下技術問題：

雖然這些方法對姿態估計是有效的，但是在跟蹤過程中存在一個重要的影響跟蹤效果的問題，那就是基于檢測的跟蹤方法通常使用圖結構模型(PS)，忽視了左右身體肢體部件在連續視頻幀中的一致性，僅僅依賴于肢體部件在圖片坐標系中的相對位置，這經常會導致在跟蹤中出現左右肢體混淆的問題。例如，對于一段視頻幀序列，特別是當身體的所有部件都可見的時候，雖然所有身體部件姿態都可以被準確地檢測出來，但是左右肢體經常被混淆，這種情況在視頻序列中存在人體側身運動的時候更易出現。目前在人體姿態的估計和跟蹤中并未解決此問題。

在視頻序列中，二維人體姿態跟蹤還有一個很大的挑戰是人體的自遮擋。由于人體是一個中心對稱結構，人體不同部件在二維圖像呈現上經常發生相互遮擋的情況，例如肢體部件被軀干或其對稱部件遮擋等。在遮擋情況下，姿態檢測中還會出現“重復計數”問題，即使用相同的圖像區域來確定兩個對稱肢體部件的位置。之前有方法將遮擋的時間推理融入到跟蹤框架中，對人體姿態進行跟蹤，這類方法迫使跟蹤器在發生遮擋時尋找圖像證據以支持平滑路徑，對重復計數問題起到了一定的改善作用，但是該方法需要有很強的時序先驗，應用方面會大大受限。

發明內容

為了解決現有技術的不足，本公開提供了基于面部朝向的身體左右肢體姿態跟蹤判別方法及系統；

第一方面，本公開提供了基于面部朝向的身體左右肢體一致性跟蹤判別方法；

基于面部朝向的身體左右肢體一致性跟蹤判別方法，包括：

獲取待跟蹤視頻，將待跟蹤視頻輸入到部件檢測器中，輸出被跟蹤目標的每個肢體部件的若干個識別結果以及每個識別結果對應的置信度；

根據置信度選出面部區域，估計被跟蹤目標的面部朝向；根據面部朝向判斷人體的面向位置；

根據面部朝向，對被跟蹤目標每個肢體部件的所有識別結果，按不同的優先級順序進行選取，獲得各肢體的候選集；

最后，對候選集利用圖結構模型PS進行推斷以獲得肢體最終姿態。

第二方面，本公開還提供了基于面部朝向的身體左右肢體一致性跟蹤判別系統；

基于面部朝向的身體左右肢體一致性跟蹤判別系統，包括：

肢體部件檢測模塊，其被配置為：獲取待跟蹤視頻，將待跟蹤視頻輸入到部件檢測器中，輸出被跟蹤目標的每個肢體部件的若干個識別結果以及每個識別結果對應的置信度；