[發(fā)明專利]三維模型生成方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010418882.9
• 申請日: 2020-05-18
• 公開（公告）號: CN111598111A
• 公開（公告）日: 2020-08-28
• 發(fā)明（設(shè)計(jì)）人: 曾望;歐陽萬里;羅平;劉文韜;王曉剛
• 申請（專利權(quán)）人: 商湯集團(tuán)有限公司
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06K9/00;G06K9/62;G06N3/04;G06T17/00;G06T17/20
• 代理公司: 北京中知法苑知識(shí)產(chǎn)權(quán)代理有限公司 11226
• 代理人: 李明;趙吉陽

本公開提供了一種三維模型生成方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)，包括：基于預(yù)先訓(xùn)練好的第一神經(jīng)網(wǎng)絡(luò)，確定待處理圖像的全局特征向量、局部特征圖以及語義特征圖，語義特征圖中任一第一特征點(diǎn)的特征值包括第一特征點(diǎn)在語義空間中的語義坐標(biāo)；基于語義特征圖中的第一特征點(diǎn)，將局部特征圖中與第一特征點(diǎn)對應(yīng)的第二特征點(diǎn)轉(zhuǎn)換到語義空間中，形成語義特征點(diǎn)，語義特征點(diǎn)構(gòu)成語義局部特征圖；基于語義局部特征圖、全局特征向量、以及預(yù)先訓(xùn)練好的第二神經(jīng)網(wǎng)絡(luò)，生成待處理圖像對應(yīng)的位置圖；位置圖中包括待處理圖像中的目標(biāo)對象的各個(gè)位置點(diǎn)的語義坐標(biāo)和三維位置坐標(biāo)；基于位置圖，生成目標(biāo)對象對應(yīng)的三維模型。

技術(shù)領(lǐng)域

本公開涉及計(jì)算機(jī)技術(shù)領(lǐng)域，具體而言，涉及三維模型生成方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著計(jì)算機(jī)視覺以及人機(jī)交互領(lǐng)域的發(fā)展，人體三維模型發(fā)揮了越來越重要的作用，通過生成人體三維模型，可以實(shí)現(xiàn)人體動(dòng)作識(shí)別、人機(jī)交互等。

相關(guān)技術(shù)中，在生成三維人體模型時(shí)，一般依賴于現(xiàn)有的三維模板人體模型，通過預(yù)測神經(jīng)網(wǎng)絡(luò)模型中的模型參數(shù)，在預(yù)設(shè)的三維模板人體模型的基礎(chǔ)上生成出目標(biāo)對象的三維人體模型。然而由于預(yù)設(shè)的三維模板人體模型的表達(dá)能力有限，在生成目標(biāo)對象的三維人體模型時(shí)，精度有限。例如，若某個(gè)人的身材異于常人的身材，由于現(xiàn)有的三維模板人體模型的表達(dá)能力有限，則生成出的這個(gè)人的三維人體模型的精度會(huì)受到影響。

發(fā)明內(nèi)容

本公開實(shí)施例至少提供一種三維模型生成方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)。

第一方面，本公開實(shí)施例提供了一種三維模型生成方法，包括：

基于預(yù)先訓(xùn)練好的第一神經(jīng)網(wǎng)絡(luò)，確定待處理圖像的全局特征向量、局部特征圖以及語義特征圖，所述語義特征圖中任一第一特征點(diǎn)的特征值包括所述第一特征點(diǎn)在語義空間中的語義坐標(biāo)；

基于所述語義特征圖中的第一特征點(diǎn)，將所述局部特征圖中與所述第一特征點(diǎn)對應(yīng)的第二特征點(diǎn)轉(zhuǎn)換到語義空間中，形成語義特征點(diǎn)，所述語義特征點(diǎn)構(gòu)成語義局部特征圖；

基于所述語義局部特征圖、所述全局特征向量、以及預(yù)先訓(xùn)練好的第二神經(jīng)網(wǎng)絡(luò)，生成所述待處理圖像對應(yīng)的位置圖；所述位置圖中包括所述待處理圖像中的目標(biāo)對象的各個(gè)位置點(diǎn)的語義坐標(biāo)和三維位置坐標(biāo)；

基于所述位置圖，生成所述目標(biāo)對象對應(yīng)的三維模型。

本公開所提供的方法，由于在生成三維模型時(shí)，是通過預(yù)測位置圖的方式，位置圖中包括目標(biāo)對象的各個(gè)位置點(diǎn)的三維位置坐標(biāo)，在預(yù)測出位置圖之后，可以根據(jù)預(yù)測的位置圖生成目標(biāo)對象對應(yīng)的三維模型，因此，本公開所提供的方法可以不受預(yù)設(shè)的三維模型的表達(dá)能力的約束，生成的三維模型的精度更高。

一種可能的實(shí)施方式中，所述第一特征點(diǎn)的語義坐標(biāo)包括該第一特征點(diǎn)在所述語義空間中不同坐標(biāo)方向上的坐標(biāo)值；所述第一特征點(diǎn)的特征值還包括該第一特征點(diǎn)屬于所述目標(biāo)對象的概率。

一種可能的實(shí)施方式中，所述基于預(yù)先訓(xùn)練好的第一神經(jīng)網(wǎng)絡(luò)，確定所述待處理圖像的全局特征向量、局部特征圖以及語義特征圖，包括：對所述待處理圖像進(jìn)行下采樣處理，得到中間特征圖；基于所述中間特征圖，確定所述全局特征向量和所述局部特征圖；對所述局部特征圖進(jìn)行特征提取，得到所述語義特征圖。

一種可能的實(shí)施方式中，基于所述中間特征圖，確定所述全局特征向量和所述局部特征圖，包括：對所述中間特征圖進(jìn)行池化處理和全連接處理，得到所述待處理圖像對應(yīng)的所述全局特征向量；以及，對所述中間特征圖進(jìn)行上采樣處理，得到所述待處理圖像對應(yīng)的局部特征圖。