[發明專利]一種針對物體遮擋場景的人體形狀和姿態估計方法有效
| 申請號： | 202010099358.X | 申請日： | 2020-02-18 |
| 公開（公告）號： | CN111339870B | 公開（公告）日： | 2022-04-26 |
| 發明（設計）人： | 王雁剛;黃步真;張天舒;彭聰 | 申請（專利權）人： | 東南大學 |
| 主分類號： | G06V40/20 | 分類號： | G06V40/20;G06V40/10;G06V10/25;G06V10/56;G06V10/774;G06K9/62 |
| 代理公司： | 南京蘇高專利商標事務所(普通合伙) 32204 | 代理人： | 柏尚春 |
| 地址： | 211189 江*** | 國省代碼： | 江蘇;32 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 針對 物體 遮擋 場景 人體 形狀 姿態 估計 方法 | ||
1.一種針對物體遮擋場景的人體形狀和姿態估計方法，其特征在于，包括以下步驟：
(1)在數據準備階段，利用三維人體數據集人體三維關節點與二維關節點之間的對應關系計算弱透視投影參數；
(2)根據計算得到的弱透視投影參數，通過三維旋轉、平移將人體三維模型轉換到相機坐標下；
(3)將相機坐標下的人體三維模型頂點x,y,z坐標值歸一化到-0.5至0.5范圍內后存入UV貼圖的R,G,B三個通道中，獲得不帶遮擋情況下包含人體形狀信息的UV貼圖；
(4)對人體二維圖像加入隨機物體圖片遮擋，并獲取遮擋情況下的人體掩膜；
(5)重復步驟(3)，使用弱透視投影后落在掩膜區域之外的三維點為視覺遮擋下的三維點，其x,y,z坐標固定設為-0.5，獲得對應遮擋下的UV貼圖；
(6)在訓練階段，基于步驟(1)至步驟(5)獲得的虛擬遮擋數據訓練編碼-解碼結構的UV貼圖修復網絡；所述修復網絡以與完整人體UV圖之間的L1損失，相鄰像素之間的拉普拉斯平滑項以及UV連接處一致性作為約束；
(7)利用真實物體遮擋人體彩色圖像作為輸入，以掩膜圖像作為真值構建編碼-解碼結構的顯著性檢測網絡；
(8)將遮擋人體彩色圖片與顯著性圖連接后送入人體編碼網絡，同時將相應遮擋下的UV貼圖使用步驟(6)訓練好的修復網絡進行編碼，使用編碼得到的隱空間特征監督人體編碼網絡訓練；
(9)在測試階段，輸入遮擋人體彩色圖像，經由顯著性檢測網絡，人體編碼網絡，將人體編碼網絡編碼得到的隱空間特征值使用修復網絡的解碼器解碼，得到完整的UV圖像；
(10)使用UV貼圖與人體三維模型的頂點對應關系恢復出遮擋情況下的人體三維模型。
2.根據權利要求1所述的一種針對物體遮擋場景的人體形狀和姿態估計方法，其特征在于，步驟(6)所述的UV貼圖修復網絡使用ResNet作為編碼器，以堆疊的反卷積層作為解碼器。
3.根據權利要求1所述的一種針對物體遮擋場景的人體形狀和姿態估計方法，其特征在于，所述步驟(6)通過以下公式實現：
L＝L1+λLtv+μLp
其中，λ，μ為權重，Ltv為拉普拉斯平滑項，Lp為UV連接處一致性約束：
其中，Vb是對應多個UV像素的模型頂點點集，P(v)是模型頂點v對應的UV像素值。
4.根據權利要求1所述的一種針對物體遮擋場景的人體形狀和姿態估計方法，其特征在于，步驟(8)所述的人體編碼網絡使用VGG-19結構。
5.根據權利要求1所述的一種針對物體遮擋場景的人體形狀和姿態估計方法，其特征在于，步驟(9)所述的彩色圖像為從單目彩色相機獲取的經過預處理的人體遮擋圖像。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于東南大學，未經東南大學許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202010099358.X/1.html，轉載請聲明來源鉆瓜專利網。
