[發(fā)明專利]一種基于三維人體姿態(tài)估計方法及裝置

有效

• 申請?zhí)枺?/td>: 201810426144.1
• 申請日: 2018-05-07
• 公開（公告）號: CN108830150B
• 公開（公告）日: 2019-05-28
• 發(fā)明（設(shè)計）人: 呂蕾;張凱;張桂娟;劉弘
• 申請（專利權(quán)）人: 山東師范大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 濟南圣達知識產(chǎn)權(quán)代理有限公司 37221
• 代理人: 張勇

本發(fā)明公開了一種基于三維人體姿態(tài)估計方法及裝置，其中，該方法包括S1：運用單目相機采集人體不同角度的深度圖像和RGB彩色圖像；S2：基于RGB彩色圖像構(gòu)造出人體骨骼關(guān)鍵點檢測神經(jīng)網(wǎng)絡(luò)，得到關(guān)鍵點標注圖像；S3：構(gòu)造手部關(guān)節(jié)節(jié)點2D?3D映射網(wǎng)絡(luò)；S4：標定人體相同角度的深度圖像與關(guān)鍵點標注圖像，進而對相應(yīng)深度圖像進行三維點云著色轉(zhuǎn)換，得到著色深度圖像；S5：基于關(guān)鍵點標注圖像和著色深度圖像，利用預(yù)設(shè)學(xué)習(xí)網(wǎng)絡(luò)來預(yù)測標注的人體骨骼關(guān)鍵點在深度圖像中對應(yīng)的位置；S6：合并步驟S3和步驟S5的輸出，實現(xiàn)對三維人體姿態(tài)估計的精細化估計。

技術(shù)領(lǐng)域

本發(fā)明屬于計算機視覺、圖像處理、計算機圖形學(xué)及深度學(xué)習(xí)應(yīng)用領(lǐng)域，尤其涉及一種基于三維人體姿態(tài)估計方法及裝置。

背景技術(shù)

所謂人體姿態(tài)估計是指將抽象層次特征與人體模型進行匹配，從而得到不同時刻目標所處的姿態(tài)。人體姿態(tài)估計是人體運動捕捉的核心問題。人體的姿態(tài)表達包括兩個方面，一是整個人體在世界坐標的位置和方向；二是身體各部分關(guān)節(jié)的角度及受關(guān)節(jié)角影響的皮膚變形。人體運動姿態(tài)估計的主要應(yīng)用領(lǐng)域可以分為三大方向：監(jiān)控、控制和分析：

(1)在監(jiān)控應(yīng)用方面，一些傳統(tǒng)的應(yīng)用包括在機場或地鐵中自動檢測并定位行人、人數(shù)統(tǒng)計或人群流動、擁塞分析等。隨著安全意識的提高，近年來出現(xiàn)了一些新型的應(yīng)用——個人或人群的行為和動作的分析。比如在排隊和購物中，檢測不正常的行為或進行身份識別等。

(2)在控制應(yīng)用方面，人們利用運動估計結(jié)果或姿態(tài)參數(shù)來對目標進行控制。這在人機交互方面的應(yīng)用最多。在娛樂產(chǎn)業(yè)如電影和游戲動畫等，應(yīng)用也越來越廣。人們可以利用捕捉到的人的形狀、外表和動作，來制作3D電影或重建游戲中的人的三維模型。

(3)在分析應(yīng)用方面，包括對外科病人的自動診斷、對運動員動作的分析和改進等。在視覺媒體方面，有基于內(nèi)容的視頻檢索、視頻壓縮等應(yīng)用。此外，在汽車產(chǎn)業(yè)方面也得到了相關(guān)的應(yīng)用，比如安全氣囊的自動控制、睡眠檢測和行人檢測等。

目前市場上比較成熟的人體運動捕捉系統(tǒng)有基于電動機械的，電磁的和特殊光學(xué)標志等類型。磁性或者光學(xué)的標記被附在人的肢體上，它們的三維軌跡被用來描述目標運動，這些系統(tǒng)是自動的，但是其存在的缺點是：設(shè)備非常笨重，且價格昂貴，無法得到廣泛的應(yīng)用。

因此，基于計算機視覺人體運動捕捉技術(shù)已經(jīng)成為研究熱點。它利用計算機視覺的基本原理，從視頻中直接提取三維人體運動序列。這種方法不需要在人體關(guān)節(jié)上附加任何傳感器，保證了人體運動不受限制，而且造價低，效率高。當前流行的方法大多采用基于人體模型的匹配技術(shù)。這種方法的目標是在狀態(tài)空間中找到一組姿態(tài)參數(shù)，使得對應(yīng)這個參數(shù)的人體姿態(tài)與從觀測圖像中提取的底層特征最為符合。

在基于計算機視覺的運動跟蹤這一領(lǐng)域，一般采用的研究方法是：

在跟蹤的開始，確定圖像序列中首幀的人體位置，后續(xù)序列中人體目標的確定依賴于人體運動的連續(xù)性和運動學(xué)約束條件。其中，確定首幀人體位置有兩種方法：

一是人為規(guī)定目標的首個姿態(tài)或者將人體模型設(shè)定為首幀的近似姿態(tài)，這不利于人體跟蹤的自動化。

二是去除人體以外的背景后，使用部位檢測方法確定身體的各個部位，這種方法可部分實現(xiàn)自動化，但需要人景分割的嚴格保證。

在后續(xù)人體跟蹤和三維姿態(tài)估計中，有基于模型和無模型的方法。其中：

(1)基于模型的一般方法是事先建立人體的3D模型，將模型與運動序列的首幀匹配，在后續(xù)跟蹤中，利用運動參數(shù)限制等條件，采用梯度下降或隨機采樣等優(yōu)化方法進一步估計每一幀的模型參數(shù)，從而得出模型運動序列。這種方法的缺點是：后續(xù)幀的跟蹤存在累積誤差，長時間跟蹤容易出錯。