[發(fā)明專利]能夠處理局部遮擋物的AR成像虛擬試鞋方法及裝置

在審

• 申請?zhí)枺?/td>: 202010138425.4
• 申請日: 2020-03-03
• 公開（公告）號: CN111369686A
• 公開（公告）日: 2020-07-03
• 發(fā)明（設計）人: 李汪洋
• 申請（專利權）人: 足購科技（杭州）有限公司
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T7/11;G06T15/00
• 代理公司: 杭州仁杰專利代理事務所(特殊普通合伙) 33297
• 代理人: 鄭新軍

1.一種能夠處理局部遮擋物的AR成像虛擬試鞋方法，其特征是，所述方法包括以下步驟：

步驟1，獲取調用攝像頭捕捉腳部區(qū)域圖像，通過Mask R-CNN神經(jīng)網(wǎng)絡分割并識別腳部圖像中的腳踝目標、腳面或鞋面目標和遮擋物目標，以及腳踝目標、腳面或鞋面目標和遮擋物目標的遮擋關系；

步驟2，利用PVnet算法計算腳面或鞋面目標的預測6D位姿；

步驟3，基于試穿鞋子的3D模型生成對應預測6D位姿的試穿鞋子圖像，將所述試穿鞋子圖像覆蓋在所述腳部區(qū)域圖像中的腳面或鞋面目標上，并維持遮擋關系，從而在用戶終端上展示渲染后的AR試穿效果圖像。

2.根據(jù)權利要求1所述的能夠處理局部遮擋物的AR成像虛擬試鞋方法，其特征是，所述步驟2具體包括以下步驟：

步驟201，通過ResNet網(wǎng)絡對獲取到的腳部區(qū)域圖像進行下采樣，對腳部區(qū)域圖像下采樣的特征進行上采樣，獲得腳部區(qū)域圖像中腳面或鞋面目標的語義分割的分割圖和指向腳面或鞋面目標中2D關鍵點的向量場；

步驟202，根據(jù)每個像素點到2D關鍵點的向量，計算每個像素點對每個2D關鍵點的投票分數(shù)；

步驟203，根據(jù)所有2D關鍵點投票分數(shù)的均值和協(xié)方差，使用PnP進行算法計算腳面或鞋面目標的6D位姿。

3.根據(jù)權利要求2所述的能夠處理局部遮擋物的AR成像虛擬試鞋方法，其特征是，所述的2D關鍵點是采用最遠點采樣算法確定。

4.根據(jù)權利要求2所述的能夠處理局部遮擋物的AR成像虛擬試鞋方法，其特征是，

所述步驟202中，每個像素到2D關鍵點的向量計算公式為：

其中p表示像素點，xK表示2D關鍵點；

每個像素點對每一個關鍵點的投票分數(shù)計算公式：

其中k和i為確定可能的關鍵的兩個像素點，h(k,i)為可能的關鍵點，p為像素點。

5.根據(jù)權利要求2所述的能夠處理局部遮擋物的AR成像虛擬試鞋方法，其特征是，所述步驟203具體包括以下步驟：

計算所有2D關鍵點投票分數(shù)的均值，計算公式為：

其中h(k,i)為可能的關鍵點，W_k，i為投票分數(shù)；

計算所有2D關鍵點投票分數(shù)的協(xié)方差，計算公式為：

使用PnP進行算法進行6D位姿的計算，所述6D位姿計算方式是通過最小化其馬氏距離：

其中X_K為3D關鍵點的坐標，為X_K的2D映射，

獲得腳部圖像中的2D關鍵點和預設腳部物體的3D關鍵點的映射關系，獲得腳部圖像中用戶腳部的6D位姿。

6.根據(jù)權利要求1所述的能夠處理局部遮擋物的AR成像虛擬試鞋方法，其特征是，所述腳部區(qū)域圖像包括用戶攝像頭獲取到的用戶腳部區(qū)域影像的當前幀的圖片。

7.根據(jù)權利要求1所述的能夠處理局部遮擋物的AR成像虛擬試鞋方法，其特征是，所述步驟3具體包括以下步驟：

步驟301，通過網(wǎng)絡或本地加載試穿鞋子的3D模型；

步驟302，獲取所述試穿鞋子的3D模型處于腳面或鞋面目標的預測6D位姿時的試穿鞋子圖像；

步驟303，將所述試穿鞋子圖像覆蓋在所述腳部區(qū)域圖像中的腳面或鞋面目標對應位置，同時根據(jù)腳踝目標、腳面或鞋面目標和遮擋物目標的遮擋關系，將腳踝目標和遮擋物目標按照遮擋關系遮擋在試穿鞋子圖像的對應位置，圖像渲染后在用戶終端上展示。