[發明專利]實時2D人體姿勢估計系統中的姿勢穩定系統和方法

在審

• 申請號: 202111017252.1
• 申請日: 2021-09-01
• 公開（公告）號: CN113762129A
• 公開（公告）日: 2021-12-07
• 發明（設計）人: 王全玉;艾力;張開翔;孫玥
• 申請（專利權）人: 北京理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T7/73
• 代理公司: 暫無信息
• 代理人: 暫無信息

一種用于估計單目圖像序列中多個人的穩定姿態的系統和方法。該方法參考了生成2D關節定位序列的2D人體姿態估計系統。大多數2D人體姿態估計系統在處理單幀圖像時可以產生最先進的估計結果，但在處理實時圖像序列時無法產生穩定的姿態。該方法解決了實時二維人體姿態估計系統產生的姿態抖動問題。它使用幀到幀的關節更新決策和連續幀中缺失關節的恢復來均勻地去除檢測到的姿勢中存在的抖動。連續幀中存在的關節信息有助于最小化抖動效果。而姿勢中已知關節的定位有助于計算一些缺失的關節以進一步穩定姿勢。

一、技術領域:

本發明涉及人體姿勢估計系統領域，涉及的具體內容為2D人體姿勢估計系統中的姿勢校正和穩定。

二、背景技術:

來自數字圖像的人體姿勢估計(HPE)是人類活動理解的開端。其任務是將人體關節從圖像定位到 2D或3D平面。目前已提出的許多相關技術可以分為以下兩類：自頂向下和自底向上方法。前者首先檢測包含人體的圖像部分，并在每個人的邊界框內應用2D/3D姿態估計器來檢測關節位置。而后者首先檢測關節而不管其關聯人，然后將它們映射到關聯人以輸出關鍵點。盡管對姿勢估計系統的改進已經發展了很多年，但由于許多因素的存在，包括：對象間遮擋、對象內遮擋、模糊的姿勢、光照的效果、眾多的姿勢、模糊的深度、布料紋理變化、切割器背景、人體關節自由度大、自然的姿勢模糊。因此目前姿勢估計的發展仍然是一個挑戰。

無論采用何種技術，大多數姿勢估計器都在連續幀中輸出帶有抖動的姿勢。抖動效果產生搖晃的姿勢從而降低了合成的質量。抖動效果的出現是由于數據集中的噪聲關鍵點、眾多的人體姿勢和連續幀檢測中的關節缺失。目前已有許多提出的方法用來最小化抖動的影響。其中一種技術是在連續幀上使用卡爾曼濾波器，該效果最大限度地減少了姿勢不穩定性，但它會導致整個視頻序列系統的延遲。因此，卡爾曼濾波器不是實時圖像序列系統的合適選擇。其他技術在整個姿勢實例上使用幀到幀的線性插值。它產生了一個穩定的插值姿勢，但是，插值流會導致具有非正統姿勢的幾幀。此外，即便是檢測中一個關節缺失，都會導致上述所有方法嚴重的姿勢異常。

在這種方法中，我們分別使用幀到幀的每個關節的關節更新決策以及關節閾值來最小化實時人體姿勢估計圖像序列中抖動的影響。此外，我們使用遞歸方法從幀中的已知關節信息中恢復丟失的關節。恢復階段是我們發明的基礎，以進一步提高最終姿勢的質量。本發明沒有使用直接的點對點映射來解決深度圖中存在空洞的問題，而是通過檢查目標點的臨近點以選擇最佳深度點。使用人體測量法糾正第二個問題：由于關節重疊而導致的關節深度不明確。根據人體測量信息計算每個關節的近似深度，并將其與傳感器傳回的深度進行比較，以估算關節深度的誤差。通過人體測量測量平均人體肢體長度，并將其作為一個基礎。

本發明提供了一種穩定二維人體姿態估計系統產生的抖動姿態的系統和方法。本發明包括(1) 計算機系統連同用以捕捉一個或多個人的二維單眼圖像序列的輸入裝置；(2)一個2D人體姿態估計模塊，為圖像中的每個人生成一組關節定位；(3)一個姿態穩定器模塊，以減少檢測到的姿態中存在的抖動。

輸入裝置捕捉至少25幀/秒的圖像流以獲得更平滑的效果，然后將其饋送到2D人體姿態估計模塊。然后，估計模塊為正在處理的圖像中的每個人的每個關節輸出一組2D位置。對于每個關節都會產生一個三元組(x，y，score)，其中x和y分別是關節的水平和垂直位置，score(分數)決定了關節檢測的置信度，取值范圍從0到1(1表示完全置信)。在連續幀中，由于多種因素，關節定位可能與圖像中的實際關節不同，包括：噪聲數據集樣本、多個人體姿勢和檢測中的缺失關節。這導致姿勢流具有抖動的姿勢，影響最終應用程序的整體質量。

本發明提出的系統以二維關節關鍵點集為輸入，通過去除檢測中的抖動來產生穩定的姿態。整體穩定是由姿勢穩定模塊通過使用(1)幀到幀的關節更新決策和(2)使用連續幀中的已知關節進行的缺失關節恢復來完成的。然后系統會生成另一組對應于穩定姿勢的關節。

三、發明內容