[發(fā)明專利]融合彩色圖像與深度信息的人體臥姿三維姿態(tài)估計方法

在審

• 申請?zhí)枺?/td>: 202011113689.0
• 申請日: 2020-10-17
• 公開（公告）號: CN112215172A
• 公開（公告）日: 2021-01-12
• 發(fā)明（設(shè)計）人: 徐光華;吳慶強(qiáng);魏帆;張四聰;李煜
• 申請（專利權(quán)）人: 西安交通大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06T7/80;G06T7/50;G06T7/30
• 代理公司: 西安智大知識產(chǎn)權(quán)代理事務(wù)所 61215
• 代理人: 賀建斌

一種融合彩色圖像與深度信息的人體臥姿三維姿態(tài)估計方法，先使用RGB?D相機(jī)同時捕獲運動的人體所在空間內(nèi)的彩色圖像和深度信息；基于自下而上的深度學(xué)習(xí)方法對彩色圖像進(jìn)行人體二維關(guān)鍵點位置檢測；再利用相機(jī)標(biāo)定得到的相關(guān)參數(shù)對彩色圖像與深度信息進(jìn)行空間匹配實，實現(xiàn)人體關(guān)鍵點的三維坐標(biāo)粗略定位；然后基于個性化的人體尺寸參數(shù)對深度相機(jī)的采集誤差進(jìn)行修正；最后考慮運動本身在時間尺度上的連續(xù)性，利用插幀和濾波方法對各關(guān)鍵點的三維坐標(biāo)序列進(jìn)行進(jìn)一步修正，準(zhǔn)確實現(xiàn)人體臥姿三維姿態(tài)估計；本發(fā)明成本低，無接觸，可有效實現(xiàn)人體臥姿狀態(tài)的姿態(tài)估計，滿足嬰兒及其他臥姿人體的運動識別與分析需求。

技術(shù)領(lǐng)域

本發(fā)明屬于人體姿態(tài)估計技術(shù)領(lǐng)域，具體涉及融合彩色圖像與深度信息的人體臥姿三維姿態(tài)估計方法。

背景技術(shù)

在人機(jī)交互、運動分析和視頻監(jiān)控等眾多應(yīng)用領(lǐng)域，人體都是主要的被處理對象，對人體動作和行為的識別和分析都是必不可少的環(huán)節(jié)，識別結(jié)果將直接影響后續(xù)應(yīng)用的效果。人體運動由相互連接的人體肢體的各部位組合完成，為有效實現(xiàn)某一姿態(tài)下人體姿態(tài)的數(shù)字化描述，需要對人體各部位進(jìn)行實時定位，這一定位過程就是人體姿態(tài)估計技術(shù)。

目前，隨著計算機(jī)視覺領(lǐng)域相關(guān)技術(shù)的快速發(fā)展，姿態(tài)估計技術(shù)的研究也成為一個研究熱點。現(xiàn)有的姿態(tài)估計技術(shù)按照傳感器的不同可以分為四類：①機(jī)械裝置與慣性測量單元；②多目相機(jī)；③彩色相機(jī)；④深度相機(jī)。其中，前兩類一般需要將傳感器或標(biāo)記點固定在身體上，影響運動過程，且多目相機(jī)成本昂貴；彩色相機(jī)方法已經(jīng)可以很好地獲取二維投影內(nèi)人體的姿態(tài)信息，但是受限于傳感器性質(zhì)，無法進(jìn)行三維空間定位；深度相機(jī)方法多針對人體站姿狀態(tài)，難以區(qū)分臥姿狀態(tài)下的人體與背景信息，從而無法應(yīng)用于人體臥姿狀態(tài)的姿態(tài)估計。

然而，臥姿狀態(tài)的游戲娛樂、癱瘓病人的康復(fù)訓(xùn)練、嬰兒群體的運動功能診斷、人體睡眠的視覺檢測等應(yīng)用均需要解決臥姿狀態(tài)下的人體姿態(tài)估計難題，因此，急需一種低成本無接觸的人體臥姿狀態(tài)姿態(tài)估計方法。

發(fā)明內(nèi)容

為了克服現(xiàn)有技術(shù)的缺點，本發(fā)明的目的是提供一種融合彩色圖像與深度信息的人體臥姿三維姿態(tài)估計方法，具有低成本、無接觸、高精度等優(yōu)點，滿足人類臥姿姿態(tài)檢測與運動識別的需求。

為達(dá)到上述目的，本發(fā)明采用的技術(shù)方案為：

一種融合彩色圖像與深度信息的人體臥姿三維姿態(tài)估計方法，包括以下步驟：

步驟一：選用RGB-D相機(jī)作為采集設(shè)備，并對采集設(shè)備進(jìn)行相關(guān)標(biāo)定，分別得到彩色相機(jī)和深度相機(jī)的內(nèi)參矩陣H_rgb和H_d：

其中f_xrgb、f_yrgb為彩色攝像頭的焦距，c_xrgb與c_yrgb分別為彩色攝像頭的主點在xy方向的偏移；f_xd、f_yd為深度攝像頭的焦距，c_xd和c_yd為深度攝像頭的主點在xy方向的偏移；

同時獲取彩色相機(jī)和深度相機(jī)坐標(biāo)系間的旋轉(zhuǎn)矩陣R和平移矩陣T；

步驟二：利用RGB-D傳感器同步連續(xù)采集人體運動空間內(nèi)的彩色圖像與深度信息N幀；

步驟三：對彩色圖像使用自底向上的深度學(xué)習(xí)框架基于部分親和字段(PAF)檢測14個二維人體關(guān)鍵點位置，二維人體關(guān)鍵點位置包括頭部、頸部、雙肩、雙肘、雙腕、雙髖、雙膝和雙踝；

步驟四：通過彩色相機(jī)和深度相機(jī)成像系統(tǒng)中各坐標(biāo)系的映射模型求解彩色相機(jī)和深度相機(jī)坐標(biāo)系的對應(yīng)關(guān)系：