[發明專利]一種單目彩色視頻的三維人體關節點定位方法

在審

• 申請號: 201710453792.1
• 申請日: 2017-06-15
• 公開（公告）號: CN107392097A
• 公開（公告）日: 2017-11-24
• 發明（設計）人: 聶琳;王可澤;林木得;成慧;王青
• 申請（專利權）人: 中山大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州番禺容大專利代理事務所(普通合伙)44326
• 代理人: 劉新年

本發明提供了一種單目彩色視頻的三維人體關節點定位方法，包括以下步驟：S1、構建可配置的深度模型，并在該深度模型中引入時序信息；S2、采集訓練樣本，并利用訓練樣本學習出深度模型的參數；S3、利用S2中學習得到的參數對深度模型進行初始化，將需要進行三維人體關節點定位的單目彩色視頻數據轉化為連續多幀二維圖像，輸入深度模型以進行分析；針對每幀二維圖像，輸出其中人物的三維人體關節點坐標。本發明利用深度學習，構建深層次的卷積神經網絡，來從大量的訓練樣本中自動學習出有效的時空特征，而不再依賴人工設計的先驗條件和人體關節結構約束；通過學習出的有效特征，直接回歸出人體的關節點位置。

技術領域

本發明涉及三維人體姿態識別、計算機視覺、模式識別和人機交互領域，特別是基于卷積神經網絡和長短時記憶網絡的單目彩色視頻的三維人體關節點定位方法。

背景技術

姿態估計是計算機視覺研究的一個重要領域，其主要任務是讓計算機能夠自動地感知場景中的人“在哪里”和判斷人在“干什么”，它的應用包括智能監控、病人監護和一些涉及人機交互的系統。人體姿勢的目標是希望能夠自動地從未知的視頻中(例如，一段圖像幀)中推測人體各個部分的姿態參數(例如，關節點坐標)。通過這些姿態參數可以在三維空間中重建人體的動作，為整個場景的語義理解奠定基礎。

然而隨著社會的進步，當前的二維姿態估計已經不能滿足用戶的需求，并且在普通的RGB圖像或視頻中估計姿態受光照、遮擋、環境因素影響大，難以做到魯棒。而目前從單彩色圖像序列中估計三維姿態不僅要面對估計二維姿態存在的挑戰，還面臨如何確保三維姿態的幾何約束的問題。

現在對單目彩色視頻中三維人物關節點定位主要存在以下難點：

1、人物外表變化大，相機視點不固定，外物或者自身遮擋導致的部分關節點不可見。

2、從幾何角度來說三維姿態本身含有二義性。

現有的三維姿態識別方法多是依賴人工設計的先驗條件和人體關節結構約束，但是這種方法評測內部各個模塊，也不能根據具體情境進行擴展。

發明內容

為了克服上述現有技術的不足，本發明提供了一種基于卷積神經網絡和長短時記憶網絡的單目彩色視頻的三維人體關節點定位方法，該方法可以有效地自動抽取復雜人物姿態的時空特征，提高姿勢估計的準確率。

為實現上述目的，本發明采用以下技術方案：

一種單目彩色視頻的三維人體關節點定位方法，包括以下步驟：

S1、構建可配置的深度模型，并在該深度模型中引入時序信息；

其中，所述深度模型包括互相串聯的卷積神經網絡和長短時記憶網絡；

所述卷積神經網絡用于對視頻數據進行逐幀處理，提取二維圖像中人物的二維人體關節點特征，并將二維圖像中人物的二維人體關節點特征轉化到三維人體關節點坐標相關的特征空間；

所述長短時記憶網絡用于結合當前幀及其之前的連續多幀二維圖像的特征信息，預測出當前幀二維圖像的三維人體關節點坐標；

S2、采集訓練樣本，并利用訓練樣本學習出深度模型的參數；所述訓練樣本包括：被轉換成連續多幀二維圖像的視頻數據、每幀二維圖像對應的真實的二維人體關節點坐標和三維人體關節點坐標；其中，視頻數據和二維人體關節點坐標用于供深度模型學習出構建卷積神經網絡的參數，視頻數據和三維人體關節點坐標用于供深度模型學習出構建長短時記憶網絡的參數；

S3、利用S2中學習得到的參數對深度模型進行初始化，將需要進行三維人體關節點定位的單目彩色視頻數據轉化為連續多幀二維圖像，輸入深度模型以進行分析；針對每幀二維圖像，輸出其中人物的三維人體關節點坐標。

進一步地，所述卷積神經網絡包括互相串聯的二維特征抽取模塊和特征轉化模塊；