[發明專利]一種基于單目視頻的人體骨架跟蹤方法

在審

• 申請號: 201610078307.2
• 申請日: 2016-02-03
• 公開（公告）號: CN105741323A
• 公開（公告）日: 2016-07-06
• 發明（設計）人: 童若鋒;聶迎;陳可立;李承揚
• 申請（專利權）人: 浙江大學
• 主分類號: G06T7/20
• 分類號: G06T7/20
• 代理公司: 浙江杭州金通專利事務所有限公司 33100
• 代理人: 趙紅英

技術領域

本發明屬于計算機視覺領域，特別涉及到一種基于單目視頻的人體骨架跟蹤方法。

背景技術

三維人體骨架跟蹤是當前計算機視覺領域的研究熱點，廣泛應用于視頻監控、人機交互、行為理解、智能動畫合成、虛擬現實等領域，具有廣泛的應用前景。對它的研究涉及計算機視覺、計算機圖形學、機器學習、圖像處理及人工智能等學科領域，是一個跨學科的挑戰性研究課題。

骨架跟蹤的定義是“estimatinghumanposesfromframetoframe，trackingisusedtoensuretemporalcoherencebetweenposesovertime”。骨架重建的定義是“estimatinghumanposesfromimages”。骨架重建是骨架跟蹤的基礎，在一些基于學習的方法中，好的骨架重建方法是骨架跟蹤的保障(骨架重建方法用于第一幀圖像的骨架初始化)。相比較而言，已有的工作更多強調于骨架重建。根據是否預先構建人體模型可將方法分為兩類：Model-free和Model-based.Model-free方法不需要預先定義人體模型，而是直接建立圖像序列與人體姿態的聯系。主要包含兩種方法：learning-based和example-based。在基于學習的方法中，根據訓練數據學習從視頻序列到人體姿態的映射函數，實現實時的骨架跟蹤。基于樣本的方法首先構造包含姿態樣本和對應圖像的集合，定義“matchingindexesbetweentheposedivsandtheimagedivs”，對于一個輸入的圖像，根據匹配系數尋找候選的姿態樣本并進行插值處理形成最終的估計姿態。Model-based方法首先構建人體模型，包含人體形狀和運動結構的精確幾何表示，通過優化模型投影和視頻序列的相似性來估計人體的姿態。可以分為Top-down和Bottom-up兩種，Top-down是根據視頻序列直接得到完整人體模型，Bottom-up是先定位人體各部位，再將各部位組合起來得到完整人體模型。

發明內容

本發明需要解決的技術問題是針對現有骨架跟蹤技術嚴重依賴圖像深度信息、難以滿足實時性等問題，提出一種基于單目視頻的骨架跟蹤方法。該方法先在所構建的包含剪影和真實骨架的人體姿態數據庫上采用回歸算法進行訓練，根據加法模型得到級聯回歸子以決定初始化骨架的調整幅度。在測試過程中，我們輸入單目視頻第一幀所對應的剪影和初始化骨架，利用訓練得到的級聯回歸子逐步調整骨架，并以此為基礎計算下一幀的初始化骨架，實現對單目視頻人體骨架的跟蹤。

為了實現本發明的目的，我們依靠以下技術方案來實現：

在訓練階段：

a.定義特征描述符：利用基于距離的方法量化剪影與初始骨架的差異；

b.特征提取和分類：通過基于相關性的randomfern方法提取出與回歸目標有最大相關性的特征并分類，得到決定當前階段骨架調整幅度的回歸子；

c.骨架調整：根據加法模型調整骨架適當的次數并輸出級聯回歸子。

在測試階段：

d.輸入單目視頻首幀的剪影和初始化骨架；

e.根據訓練得到的級聯回歸子逐步調整初始化骨架至最終骨架；

f.在數據庫中搜索與當前幀預測骨架最相似的五個骨架分別進行回歸，取回歸的均值骨架作為下一幀的初始化骨架進行下一幀的骨架預測。

本發明的有益效果為：本方法可以基于傳統的不含深度信息的單目視頻實時地進行人體骨架的跟蹤。本方法通過定義一種高保真的特征描述符，并采用基于相關性的randomfern方法提取與回歸目標有最大相關性的特征并分類，在所構建的包含剪影和骨架的數據庫中訓練得到從剪影和初始化骨架到真實骨架的映射級聯回歸子。在測試時，只要輸入單目視頻首幀的剪影和初始化骨架，即可自動實時地實現對人體骨架的跟蹤。總的來說，本方法為低成本、實時地跟蹤人體骨架提供了一個全新的解決方案。

附圖說明

下面結合附圖和具體實施方式對本發明作進一步詳細的說明:

圖1為在姿態數據庫中采用回歸的方法進行訓練的過程流程圖

圖2為基于單目視頻進行測試的過程流程圖

圖3為跟蹤誤差統計直方圖

圖4第100幀視頻對應的預測骨架、真實骨架和數據庫中對應的5個相似骨架對比圖

圖5第4000幀視頻對應的預測骨架、真實骨架和數據庫中對應的5個相似骨架對比圖

具體實施方式

參照圖1，表示利用所構建的姿態數據庫采用回歸的方法進行訓練的過程流程圖，圖中表示的步驟為：