[發(fā)明專利]融合彩色圖像與深度信息的人體臥姿三維姿態(tài)估計(jì)方法

在審

• 申請?zhí)枺?/td>: 202011113689.0
• 申請日: 2020-10-17
• 公開（公告）號: CN112215172A
• 公開（公告）日: 2021-01-12
• 發(fā)明（設(shè)計(jì)）人: 徐光華;吳慶強(qiáng);魏帆;張四聰;李煜
• 申請（專利權(quán)）人: 西安交通大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06T7/80;G06T7/50;G06T7/30
• 代理公司: 西安智大知識產(chǎn)權(quán)代理事務(wù)所 61215
• 代理人: 賀建斌

1.一種融合彩色圖像與深度信息的人體臥姿三維姿態(tài)估計(jì)方法，其特征在于，包括以下步驟：

步驟一：選用RGB-D相機(jī)作為采集設(shè)備，并對采集設(shè)備進(jìn)行相關(guān)標(biāo)定，分別得到彩色相機(jī)和深度相機(jī)的內(nèi)參矩陣H_rgb和H_d：

其中f_xrgb、f_yrgb為彩色攝像頭的焦距，c_xrgb與c_yrgb分別為彩色攝像頭的主點(diǎn)在xy方向的偏移；f_xd、f_yd為深度攝像頭的焦距，c_xd和c_yd為深度攝像頭的主點(diǎn)在xy方向的偏移；

同時獲取彩色相機(jī)和深度相機(jī)坐標(biāo)系間的旋轉(zhuǎn)矩陣R和平移矩陣T；

步驟二：利用RGB-D傳感器同步連續(xù)采集人體運(yùn)動空間內(nèi)的彩色圖像與深度信息N幀；

步驟三：對彩色圖像使用自底向上的深度學(xué)習(xí)框架基于部分親和字段(PAF)檢測14個二維人體關(guān)鍵點(diǎn)位置，二維人體關(guān)鍵點(diǎn)位置包括頭部、頸部、雙肩、雙肘、雙腕、雙髖、雙膝和雙踝；

步驟四：通過彩色相機(jī)和深度相機(jī)成像系統(tǒng)中各坐標(biāo)系的映射模型求解彩色相機(jī)和深度相機(jī)坐標(biāo)系的對應(yīng)關(guān)系：

其中u_d，v_d為深度圖像中的像素點(diǎn)坐標(biāo)，z_d為像素點(diǎn)對應(yīng)的深度值，H_d為深度相機(jī)的內(nèi)部參數(shù)，R為彩色相機(jī)到深度相機(jī)的旋轉(zhuǎn)矩陣，T為彩色相機(jī)到深度相機(jī)的偏移矩陣，x_rgb、y_rgb、z_rgb為彩色相機(jī)的對應(yīng)像素點(diǎn)的空間坐標(biāo)，為彩色相機(jī)內(nèi)部參數(shù)的逆矩陣，u_rgb和v_rgb為對應(yīng)像素點(diǎn)在彩色圖像中的坐標(biāo)；

對RGB信息和原始深度信息進(jìn)行配準(zhǔn)得到不同坐標(biāo)空間下每個點(diǎn)的映射，在此基礎(chǔ)上實(shí)現(xiàn)步驟三獲取的二維人體關(guān)鍵點(diǎn)位置的深度信息匹配，得到粗略的人體關(guān)鍵點(diǎn)三維坐標(biāo)；

步驟五：為消除深度信息的采集誤差，針對不同測試群體參考人體標(biāo)準(zhǔn)指數(shù)構(gòu)建人體靜態(tài)尺寸參數(shù)模型Π＝[λ_Hea,λ_N,λ_S,λ_E,λ_W,λ_Hip,λ_K,λ_A]，其中λ_Hea為頭部靜態(tài)參數(shù)，λ_N為頸部靜態(tài)參數(shù)，λ_S為肩部靜態(tài)參數(shù)，λ_E為肘部靜態(tài)參數(shù)，λ_W為腕部靜態(tài)參數(shù)，λ_Hip為髖部靜態(tài)參數(shù)，λ_K為膝部靜態(tài)參數(shù)，λ_A為踝部靜態(tài)參數(shù)；以此為標(biāo)準(zhǔn)對關(guān)節(jié)點(diǎn)深度信息進(jìn)行修正，若身體各部位的修正深度信息D＝[d_Hea,d_N,d_SL,…,d_AR]，其中的d分別對應(yīng)人體靜態(tài)尺寸參數(shù)模型Π中的關(guān)節(jié)部分修正深度信息，則D的修正過程如下：

其中D^T為修正后的關(guān)鍵點(diǎn)深度信息，D^籠為測量深度值；為人體上身長的測量值，Π^T為人體靜態(tài)參數(shù)中對應(yīng)關(guān)鍵點(diǎn)的參數(shù)的轉(zhuǎn)置；

步驟六：為消除步驟三帶來的丟幀現(xiàn)象和隨機(jī)誤差，考慮運(yùn)動的時間約束，對幀間差造成的跳變誤差，采用三倍標(biāo)準(zhǔn)差法對誤差點(diǎn)進(jìn)行消除：

x_t+1≤x_t±3×σ

其中x_t+1為t+1幀中對應(yīng)關(guān)鍵點(diǎn)的坐標(biāo)值，x_t為t幀時刻對應(yīng)關(guān)鍵點(diǎn)的坐標(biāo)值，σ為整段序列的對應(yīng)關(guān)鍵點(diǎn)的統(tǒng)計(jì)學(xué)標(biāo)準(zhǔn)差；

針對丟幀問題，對坐標(biāo)序列進(jìn)行分段三次樣條曲線插值；

為獲取更平滑的關(guān)節(jié)運(yùn)動軌跡，采用高斯平滑濾波方法對系列幀數(shù)據(jù)進(jìn)行去噪平滑，最后完成準(zhǔn)確的三維姿態(tài)估計(jì)。