[發(fā)明專利]一種針對物體遮擋場景的人體形狀和姿態(tài)估計(jì)方法

有效

• 申請?zhí)枺?/td>: 202010099358.X
• 申請日: 2020-02-18
• 公開（公告）號: CN111339870B
• 公開（公告）日: 2022-04-26
• 發(fā)明（設(shè)計(jì)）人: 王雁剛;黃步真;張?zhí)焓?/a>;彭聰
• 申請（專利權(quán)）人: 東南大學(xué)
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V40/10;G06V10/25;G06V10/56;G06V10/774;G06K9/62
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 柏尚春

本發(fā)明公開了一種針對物體遮擋場景的人體形狀和姿態(tài)估計(jì)方法,將計(jì)算得到的弱透視投影參數(shù)轉(zhuǎn)換到相機(jī)坐標(biāo)下，獲得不帶遮擋情況下包含人體形狀信息的UV圖像；對人體二維圖像加入隨機(jī)物體圖片遮擋，并獲取遮擋情況下的人體掩膜；將獲得的虛擬遮擋數(shù)據(jù)訓(xùn)練編碼?解碼結(jié)構(gòu)的UV貼圖修復(fù)網(wǎng)絡(luò)；輸入真實(shí)物體遮擋人體彩色圖像，以掩膜圖像作為真值構(gòu)建編碼?解碼結(jié)構(gòu)的顯著性檢測網(wǎng)絡(luò)；使用編碼得到的隱空間特征監(jiān)督人體編碼網(wǎng)絡(luò)訓(xùn)練；輸入遮擋人體彩色圖像，得到完整的UV圖像；使用UV圖像與人體三維模型的頂點(diǎn)對應(yīng)關(guān)系恢復(fù)出遮擋情況下的人體三維模型。本發(fā)明將遮擋人體形狀估計(jì)轉(zhuǎn)化為二維UV貼圖的圖像修復(fù)問題，進(jìn)而實(shí)現(xiàn)遮擋場景下人體的實(shí)時、動態(tài)重建。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)視覺及三維視覺領(lǐng)域，具體涉及一種針對物體遮擋場景下的人體形狀和姿態(tài)估計(jì)方法。

背景技術(shù)

從單張圖像中估計(jì)三維人體的形狀和姿態(tài)是近年來三維視覺領(lǐng)域的一個研究熱點(diǎn)。它在人體運(yùn)動捕捉、虛擬試衣和人體動畫等虛擬現(xiàn)實(shí)技術(shù)的應(yīng)用方面有著重要的作用。近年來，深度學(xué)習(xí)技術(shù)簡化了從單張圖像恢復(fù)人體整體形狀的求解方式，特別是在SMPL模型被提出并得到廣泛應(yīng)用以后，單目圖像三維人體形狀和姿態(tài)估計(jì)經(jīng)歷了多個階段的蓬勃發(fā)展，包括(1)通過匹配二維視覺特征來優(yōu)化求解SMPL參數(shù)；使(2)用卷積神經(jīng)網(wǎng)絡(luò)(CNN)直接回歸SMPL參數(shù)；(3)利用二維UV貼圖表示SMPL表面三維點(diǎn)，進(jìn)而將三維人體形狀估計(jì)轉(zhuǎn)化成基于CNN的圖像翻譯問題。深度神經(jīng)網(wǎng)絡(luò)憑借其準(zhǔn)確性和運(yùn)行效率成為三維人體形狀估計(jì)的主流方法，它們能夠在特定場景下獲得較好的重建結(jié)果。然而，現(xiàn)有方法大多都沒有考慮人和物體之間的遮擋這一常見的現(xiàn)象。如果不明確考慮遮擋，這類方法就不能直接轉(zhuǎn)移到處理遮擋場景下的人體估計(jì)。這導(dǎo)致它們對帶遮擋甚至輕微物體遮擋的場景十分敏感，難以滿足現(xiàn)實(shí)需求。

一直以來，遮擋場景下的人體三維形狀和姿態(tài)估計(jì)始終是領(lǐng)域內(nèi)的難點(diǎn)，其主要原因有：(1)對象遮擋會在網(wǎng)絡(luò)訓(xùn)練中引入嚴(yán)重的歧義，并且導(dǎo)致可直接利用的圖像特征大大減少，從而影響完整的三維人體形狀估計(jì)效果。(2)由于遮擋物體的普遍性和隨機(jī)性，網(wǎng)絡(luò)難以準(zhǔn)確分割圖像中人體和遮擋對象所在的像素，導(dǎo)致重建結(jié)果受到干擾。

發(fā)明內(nèi)容

發(fā)明目的：針對遮擋場景下的人體形狀和姿態(tài)估計(jì)問題，本發(fā)明提出一種針對物體遮擋場景的人體形狀和姿態(tài)估計(jì)方法，將遮擋人體形狀估計(jì)轉(zhuǎn)化為二維UV貼圖的圖像修復(fù)問題，進(jìn)而實(shí)現(xiàn)遮擋場景下人體的實(shí)時、動態(tài)重建。

技術(shù)方案：本發(fā)明所述的一種針對物體遮擋場景的人體形狀和姿態(tài)估計(jì)方法，包括以下步驟：

(1)在數(shù)據(jù)準(zhǔn)備階段，利用三維人體數(shù)據(jù)集人體三維關(guān)節(jié)點(diǎn)與二維關(guān)節(jié)點(diǎn)之間的對應(yīng)關(guān)系計(jì)算弱透視投影參數(shù)；

(2)根據(jù)計(jì)算得到的弱透視投影參數(shù)，通過三維旋轉(zhuǎn)、平移將人體三維模型轉(zhuǎn)換到相機(jī)坐標(biāo)下；

(3)將相機(jī)坐標(biāo)下的人體三維模型頂點(diǎn)x,y,z坐標(biāo)值歸一化到-0.5至0.5范圍內(nèi)后存入UV貼圖的R,G,B三個通道中，獲得不帶遮擋情況下包含人體形狀信息的UV貼圖；

(4)對人體二維圖像加入隨機(jī)物體圖片遮擋，并獲取遮擋情況下的人體掩膜；

(5)重復(fù)步驟(3)，使用弱透視投影后落在掩膜區(qū)域之外的三維點(diǎn)為視覺遮擋下的三維點(diǎn)，其x,y,z坐標(biāo)固定設(shè)為-0.5，獲得對應(yīng)遮擋下的UV貼圖；

(6)在訓(xùn)練階段，基于步驟(1)至步驟(5)獲得的虛擬遮擋數(shù)據(jù)訓(xùn)練編碼-解碼結(jié)構(gòu)的UV貼圖修復(fù)網(wǎng)絡(luò)；所述修復(fù)網(wǎng)絡(luò)以與完整人體UV圖之間的L1損失，相鄰像素之間的拉普拉斯平滑項(xiàng)以及UV連接處一致性作為約束；

(7)利用真實(shí)物體遮擋人體彩色圖像作為輸入，以掩膜圖像作為真值構(gòu)建編碼-解碼結(jié)構(gòu)的顯著性檢測網(wǎng)絡(luò)；

(8)將遮擋人體彩色圖片與顯著性圖連接后送入人體編碼網(wǎng)絡(luò)，同時將相應(yīng)遮擋下的UV貼圖使用步驟(6)訓(xùn)練好的修復(fù)網(wǎng)絡(luò)進(jìn)行編碼，使用編碼得到的隱空間特征監(jiān)督人體編碼網(wǎng)絡(luò)訓(xùn)練；