[發(fā)明專利]能夠處理局部遮擋物的AR成像虛擬試鞋方法及裝置

在審

• 申請?zhí)枺?/td>: 202010138425.4
• 申請日: 2020-03-03
• 公開（公告）號(hào): CN111369686A
• 公開（公告）日: 2020-07-03
• 發(fā)明（設(shè)計(jì)）人: 李汪洋
• 申請（專利權(quán)）人: 足購科技（杭州）有限公司
• 主分類號(hào): G06T19/00
• 分類號(hào): G06T19/00;G06T7/11;G06T15/00
• 代理公司: 杭州仁杰專利代理事務(wù)所(特殊普通合伙) 33297
• 代理人: 鄭新軍

本發(fā)明公開了一種能夠處理局部遮擋物的AR成像虛擬試鞋方法及實(shí)現(xiàn)該方法的裝置。所述方法步驟主要包括：步驟1，通過Mask R?CNN神經(jīng)網(wǎng)絡(luò)分割并識(shí)別腳部圖像中的腳踝目標(biāo)、腳面或鞋目標(biāo)和遮擋物目標(biāo)，以及腳踝目標(biāo)、腳面或鞋目標(biāo)和遮擋物目標(biāo)的遮擋關(guān)系；利用PVnet算法計(jì)算腳面或鞋目標(biāo)的預(yù)測6D位姿；基于試穿鞋子的3D模型生成對應(yīng)預(yù)測6D位姿的試穿鞋子圖像，將所述試穿鞋子圖像覆蓋在所述腳部區(qū)域圖像中的腳面或鞋目標(biāo)上，并維持遮擋關(guān)系。本方案能夠?qū)τ谧R(shí)別拍攝圖像中有意外物體進(jìn)入遮擋腳部的情況進(jìn)行有效處理，依然能夠完整準(zhǔn)確地在拍攝圖像中腳部顯示鞋子的AR三維模型，同時(shí)能夠較好地還原褲子和腳踝這些部分的遮擋效果，提高用戶試穿體驗(yàn)。

技術(shù)領(lǐng)域

本發(fā)明涉及AR技術(shù)領(lǐng)域，尤其涉及一種AR成像虛擬試鞋方法及裝置。

背景技術(shù)

現(xiàn)如今，網(wǎng)上購物已成為潮流，消費(fèi)者們可以足不出戶的了解各式商品的信息與挑選自己喜歡的商品，方便快捷的支付。但存在的問題是：(1)傳統(tǒng)電商的使用鞋子圖片、視頻方式做不到以用戶為中心，商品的展示以用戶的關(guān)注點(diǎn)為轉(zhuǎn)移。(2)用戶無法很好的判斷網(wǎng)上購買的鞋子款式是否符合自己，可能會(huì)造成退貨，降低轉(zhuǎn)化率。

應(yīng)用AR技術(shù)，可以讓用戶隨時(shí)隨地使用攝像頭拍攝腳步在拍攝圖像中的腳步增加鞋子的AR三維模型，試穿各式各樣的鞋子，也可以讓用戶通過移動(dòng)、旋轉(zhuǎn)，360度查看商品的全貌，同時(shí)查看商品的細(xì)節(jié)。但是現(xiàn)有的虛擬試鞋技術(shù)需要拍攝到整個(gè)腳部的圖像才能準(zhǔn)確識(shí)別腳部位置。當(dāng)存在腳部被褲子遮擋、雙腳交叉、他人或其他物體遮擋腳部、只露出腳跟等較小部分時(shí)，無法識(shí)別出腳部，導(dǎo)致旋轉(zhuǎn)腳部觀察試鞋整體效果時(shí)，鞋子成像不佳，或者有以外遮擋物時(shí)虛擬試鞋系統(tǒng)無法正常工作。

同時(shí)還需要考慮到用戶在試穿鞋子時(shí)，是需要考慮鞋子對于褲子以及腳踝等其他部分的適配情況，簡單的屏蔽這些部分的遮擋效果，反而會(huì)影響到用戶試穿的體驗(yàn)。最好的效果是試穿鞋子AR三維圖像添加到攝像圖像中時(shí)能夠較好地還原褲子和腳踝這些部分的遮擋效果。

發(fā)明內(nèi)容

本發(fā)明是為了克服現(xiàn)有技術(shù)中的虛擬試鞋方法及系統(tǒng)，無法處理拍攝圖像中有以外物體遮擋腳部的情況，導(dǎo)致實(shí)際操作不便的問題，提供一種能夠處理局部遮擋物的AR成像虛擬試鞋方法及裝置，能夠?qū)τ谧R(shí)別拍攝圖像中有意外物體進(jìn)入遮擋腳部的情況進(jìn)行有效處理，依然能夠完整準(zhǔn)確地在拍攝圖像中腳部顯示鞋子的AR三維模型，同時(shí)能夠較好地還原褲子和腳踝這些部分的遮擋效果，提高用戶試穿體驗(yàn)。

為實(shí)現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案：

本發(fā)明申請?zhí)峁┮环N能夠處理局部遮擋物的AR成像虛擬試鞋方法，所述方法包括以下步驟：

步驟1，獲取調(diào)用攝像頭捕捉腳部區(qū)域圖像，通過MaskR-CNN神經(jīng)網(wǎng)絡(luò)分割并識(shí)別腳部圖像中的腳踝目標(biāo)、腳面或鞋面目標(biāo)和遮擋物目標(biāo)，以及腳踝目標(biāo)、腳面或鞋面目標(biāo)和遮擋物目標(biāo)的遮擋關(guān)系；

步驟2，利用PVnet算法計(jì)算腳面或鞋面目標(biāo)的預(yù)測6D位姿；

步驟3，基于試穿鞋子的3D模型生成對應(yīng)預(yù)測6D位姿的試穿鞋子圖像，將所述試穿鞋子圖像覆蓋在所述腳部區(qū)域圖像中的腳面或鞋面目標(biāo)上，并維持遮擋關(guān)系，從而在用戶終端上展示渲染后的AR試穿效果圖像。

作為優(yōu)選，所述步驟2具體包括以下步驟：

步驟201，通過ResNet網(wǎng)絡(luò)對獲取到的腳部區(qū)域圖像進(jìn)行下采樣，對腳部區(qū)域圖像下采樣的特征進(jìn)行上采樣，獲得腳部區(qū)域圖像中腳面或鞋面目標(biāo)的語義分割的分割圖和指向腳面或鞋面目標(biāo)中2D關(guān)鍵點(diǎn)的向量場；

步驟202，根據(jù)每個(gè)像素點(diǎn)到2D關(guān)鍵點(diǎn)的向量，計(jì)算每個(gè)像素點(diǎn)對每個(gè)2D關(guān)鍵點(diǎn)的投票分?jǐn)?shù)；

步驟203，根據(jù)所有2D關(guān)鍵點(diǎn)投票分?jǐn)?shù)的均值和協(xié)方差，使用PnP進(jìn)行算法計(jì)算腳面或鞋面目標(biāo)的6D位姿。