[發(fā)明專利]3D骨架線構(gòu)建方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201711244255.2
• 申請(qǐng)日: 2017-11-30
• 公開(kāi)（公告）號(hào): CN108986197B
• 公開(kāi)（公告）日: 2022-02-01
• 發(fā)明（設(shè)計(jì)）人: 張杰;毛河;龍學(xué)軍;周劍
• 申請(qǐng)（專利權(quán)）人: 成都通甲優(yōu)博科技有限責(zé)任公司
• 主分類(lèi)號(hào): G06T15/20
• 分類(lèi)號(hào): G06T15/20;G06T5/50;G06T5/00;G06T17/00
• 代理公司: 北京超凡志成知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11371
• 代理人: 鄧超

本發(fā)明涉及計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域，提供一種3D骨架線構(gòu)建方法及裝置，首先，將攝像裝置采集的原始圖像輸入預(yù)先訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)，得到2D骨架線；然后，利用標(biāo)定數(shù)據(jù)對(duì)原始圖像進(jìn)行校正以去除畸變，并對(duì)校正后的第一圖像和第二圖像進(jìn)行雙目立體匹配，得到深度圖；最后，將2D骨架線和深度圖進(jìn)行結(jié)合，渲染出3D骨架線，從而將骨架線的應(yīng)用拓展到3D，從而進(jìn)行體感交互游戲。與現(xiàn)有技術(shù)相比，本發(fā)明實(shí)施例利用的雙目匹配方法，對(duì)設(shè)備的要求較低，成本低，具有良好的實(shí)用性。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域，具體而言，涉及一種3D骨架線構(gòu)建方法及裝置。

背景技術(shù)

現(xiàn)有的骨架線應(yīng)用中，都比較集中于2D骨架線的應(yīng)用，通過(guò)2D骨架線應(yīng)用識(shí)別出物體的2D姿態(tài)，但2D姿態(tài)不能很好的表征人體的旋轉(zhuǎn)等3D姿態(tài)，因此在體感游戲方面將會(huì)受限。同時(shí)在現(xiàn)有的商業(yè)應(yīng)用中，進(jìn)行3D數(shù)據(jù)的獲取都是利用kinect等物理設(shè)備通過(guò)結(jié)構(gòu)光、TOF等技術(shù)去獲取物體表面的3D信息，這些技術(shù)需要較強(qiáng)的硬件支持，高價(jià)格、高功耗、大體積使得它們不滿足節(jié)約成本和可攜帶方面的要求。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例的目的在于提供一種3D骨架線構(gòu)建方法及裝置，用以改善上述問(wèn)題。

為了實(shí)現(xiàn)上述目的，本發(fā)明實(shí)施例采用的技術(shù)方案如下：

第一方面，本發(fā)明實(shí)施例提供了一種3D骨架線構(gòu)建方法，應(yīng)用于設(shè)置有攝像裝置的電子設(shè)備，所述攝像裝置包括第一鏡頭和第二鏡頭，所述方法包括：獲取所述攝像裝置采集的原始圖像，其中，所述原始圖像包括第一鏡頭采集的第一圖像、以及第二鏡頭采集的第二圖像；將所述原始圖像輸入預(yù)先訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)，得到2D骨架線；利用標(biāo)定數(shù)據(jù)對(duì)所述原始圖像進(jìn)行校正，以去除所述原始圖像的畸變；對(duì)校正后的第一圖像和第二圖像進(jìn)行雙目立體匹配，得到深度圖；將所述2D骨架線和所述深度圖進(jìn)行結(jié)合，渲染出3D骨架線。

第二方面，本發(fā)明實(shí)施例還提供了一種3D骨架線構(gòu)建裝置，應(yīng)用于設(shè)置有攝像裝置的電子設(shè)備，所述攝像裝置包括第一鏡頭和第二鏡頭，所述3D骨架線構(gòu)建裝置包括原始圖像獲取模塊、2D骨架線獲得模塊、圖像校正模塊、立體匹配模塊及執(zhí)行模塊。其中，原始圖像獲取模塊用于獲取所述攝像裝置采集的原始圖像，其中，所述原始圖像包括第一鏡頭采集的第一圖像、以及第二鏡頭采集的第二圖像；2D骨架線獲得模塊用于將所述原始圖像輸入預(yù)先訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)，得到2D骨架線；圖像校正模塊用于利用標(biāo)定數(shù)據(jù)對(duì)所述原始圖像進(jìn)行校正，以去除所述原始圖像的畸變；立體匹配模塊用于對(duì)校正后的第一圖像和第二圖像進(jìn)行雙目立體匹配，得到深度圖；執(zhí)行模塊用于將所述2D骨架線和所述深度圖進(jìn)行結(jié)合，渲染出3D骨架線。

相對(duì)現(xiàn)有技術(shù)，本發(fā)明實(shí)施例提供的一種3D骨架線構(gòu)建方法及裝置，首先，將攝像裝置采集的原始圖像輸入預(yù)先訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)，得到2D骨架線；然后，利用標(biāo)定數(shù)據(jù)對(duì)原始圖像進(jìn)行校正以去除畸變，并對(duì)校正后的第一圖像和第二圖像進(jìn)行雙目立體匹配，得到深度圖；最后，將2D骨架線和深度圖進(jìn)行結(jié)合，渲染出3D骨架線，從而將骨架線的應(yīng)用拓展到3D，從而進(jìn)行體感交互游戲。與現(xiàn)有技術(shù)相比，本發(fā)明實(shí)施例利用的雙目匹配方法，對(duì)設(shè)備的要求較低，成本低，具有良好的實(shí)用性。

為使本發(fā)明的上述目的、特征和優(yōu)點(diǎn)能更明顯易懂，下文特舉較佳實(shí)施例，并配合所附附圖，作詳細(xì)說(shuō)明如下。

附圖說(shuō)明

為了更清楚地說(shuō)明本發(fā)明實(shí)施例的技術(shù)方案，下面將對(duì)實(shí)施例中所需要使用的附圖作簡(jiǎn)單地介紹，應(yīng)當(dāng)理解，以下附圖僅示出了本發(fā)明的某些實(shí)施例，因此不應(yīng)被看作是對(duì)范圍的限定，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他相關(guān)的附圖。

圖1示出了本發(fā)明實(shí)施例提供的電子設(shè)備的方框示意圖。

圖2示出了本發(fā)明實(shí)施例提供的3D骨架線構(gòu)建方法流程圖。

圖3為圖2示出的步驟S102的子步驟流程圖。