[發(fā)明專利]一種基于單目視覺的虛擬人生成方法、裝置在審
| 申請?zhí)枺?/td> | 202110726704.7 | 申請日： | 2021-06-29 |
| 公開（公告）號： | CN113658303A | 公開（公告）日： | 2021-11-16 |
| 發(fā)明（設(shè)計）人： | 徐楓;周玉梟 | 申請（專利權(quán)）人： | 清華大學(xué) |
| 主分類號： | G06T13/40 | 分類號： | G06T13/40;G06T17/00;G06K9/00;G06N3/04;G06N3/08 |
| 代理公司： | 北京清亦華知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201 | 代理人： | 張夢瑤 |
| 地址： | 10008*** | 國省代碼： | 北京;11 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 一種 基于 目視 虛擬 人生 成方 裝置 | ||
本申請?zhí)岢鲆环N基于單目視覺的虛擬人生成方法：獲取單目彩色圖像；提取單目彩色圖像的圖像特征，并估計出人體軀干與四肢的姿態(tài)，完成對虛擬人物模型的軀干和肢體的重建；定位單目彩色圖像中的手部位置信息，并截取單目彩色圖像中的手部圖像區(qū)域，提取手部圖像區(qū)域的圖像特征估計出手部旋轉(zhuǎn)參數(shù)；定位單目彩色圖像中的面部位置信息，并截取單目彩色圖像中的面部圖像區(qū)域，提取面部圖像區(qū)域的圖像特征估計出面部的形狀參數(shù)與表情系數(shù)，生成人臉模型；利用手部旋轉(zhuǎn)參數(shù)完成對手部的重建，并利用人臉模型替換三維人體模型的面部區(qū)域，完成對面部的重建，得到虛擬人物模型。由此，本申請?zhí)岢隽艘环N通過單目彩色圖像實時生成虛擬人體模型的方法。
技術(shù)領(lǐng)域
本申請涉及計算機視覺及計算機圖形學(xué)技術(shù)領(lǐng)域，尤其涉及一種基于單目視覺的虛擬人生成方法、裝置及存儲介質(zhì)。
背景技術(shù)
虛擬人的生成在虛擬現(xiàn)實及混合現(xiàn)實的領(lǐng)域有著非常廣泛的應(yīng)用。虛擬人的生成要求重建的結(jié)果與真實人類保持一致，并且需要包含很多的細(xì)節(jié)，因此需要對目標(biāo)對象進行完整的動作捕捉，即同時重建身體軀干與肢體的大幅度活動、雙手的手勢運動、面部的表情變化。
但是，相關(guān)技術(shù)中，僅通過單目彩色圖像進行三維虛擬人的生成時，由于缺少大量輸入信息，因此具有較高的難度。
發(fā)明內(nèi)容
本公開提出的基于單目視覺的虛擬人生成方法、裝置及存儲介質(zhì)，以提供一種通過單目彩色圖像生成虛擬人的方法。
本申請第一方面實施例提出一種基于單目視覺的虛擬人生成方法，包括：
獲取單目彩色圖像；
提取所述單目彩色圖像的圖像特征，并基于所述單目彩色圖像的圖像特征估計出人體軀干與四肢的姿態(tài)，以完成對虛擬人物模型的軀干和肢體的重建；
利用所述人體軀干與四肢的姿態(tài)的估計結(jié)果，分別定位所述單目彩色圖像中的手部位置信息，并根據(jù)所述手部位置信息截取所述單目彩色圖像中的手部圖像區(qū)域，提取所述手部圖像區(qū)域的圖像特征，基于所述手部圖像區(qū)域的圖像特征，估計出手部旋轉(zhuǎn)參數(shù)；
利用所述人體軀干與四肢的姿態(tài)的估計結(jié)果，定位所述單目彩色圖像中面部位置信息，并根據(jù)所述面部位置信息截取所述單目彩色圖像中的面部圖像區(qū)域，提取所述面部圖像區(qū)域的圖像特征，基于所述面部圖像區(qū)域的圖像特征，估計出面部的形狀參數(shù)與表情系數(shù)，以根據(jù)所述人臉的形狀參數(shù)與表情系數(shù)生成人臉模型；
將所述手部旋轉(zhuǎn)參數(shù)分別應(yīng)用到對虛擬人物模型的軀干和肢體的重建后得到的三維人體模型，完成對手部的重建，并利用所述人臉模型替換所述三維人體模型的面部區(qū)域，完成對面部的重建，以得到虛擬人物模型。
本申請第二方面實施例提出一種基于單目視覺的虛擬人生成裝置，包括：
獲取模塊，用于獲取單目彩色圖像；
第一估計模塊，用于提取所述單目彩色圖像的圖像特征，并基于所述單目彩色圖像的圖像特征估計出人體軀干與四肢的姿態(tài)，以完成對虛擬人物模型的軀干和肢體的重建；
第二估計模塊，用于利用所述人體軀干與四肢的姿態(tài)的估計結(jié)果，分別定位所述單目彩色圖像中的手部位置信息，并根據(jù)所述手部位置信息截取所述單目彩色圖像中的手部圖像區(qū)域，提取所述手部圖像區(qū)域的圖像特征，基于所述手部圖像區(qū)域的圖像特征，估計出手部旋轉(zhuǎn)參數(shù)；
第三估計模塊，用于利用所述人體軀干與四肢的姿態(tài)的估計結(jié)果，定位所述單目彩色圖像中面部位置信息，并根據(jù)所述面部位置信息截取所述單目彩色圖像中的面部圖像區(qū)域，提取所述面部圖像區(qū)域的圖像特征，基于所述面部圖像區(qū)域的圖像特征，估計出面部的形狀參數(shù)與表情系數(shù)，以根據(jù)所述人臉的形狀參數(shù)與表情系數(shù)生成人臉模型；
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于清華大學(xué)，未經(jīng)清華大學(xué)許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202110726704.7/2.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
