[發明專利]模擬用戶穿戴服裝飾品的方法、裝置和系統

在審

• 申請號: 201811195470.2
• 申請日: 2018-10-15
• 公開（公告）號: CN109409994A
• 公開（公告）日: 2019-03-01
• 發明（設計）人: 潘宗濤;王德鑫
• 申請（專利權）人: 北京京東金融科技控股有限公司
• 主分類號: G06Q30/06
• 分類號: G06Q30/06;G06K9/00
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 張一軍;張效榮

1.一種模擬用戶穿戴服裝飾品的方法，其特征在于，包括：

獲取用戶的全身圖像，基于評估模型對所述全身圖像進行檢測，以評估用戶姿態；其中，所述評估模型為基于MobileNet算法的openpose網絡結構；

識別用戶身份，根據所述用戶身份推薦服裝飾品；

基于幾何矩和邊緣檢測的識別算法識別用戶手勢，獲得手勢命令；

基于所述用戶姿態和所述手勢命令模擬用戶穿戴服裝飾品。

2.根據權利要求1所述的方法，其特征在于，基于評估模型對所述全身圖像進行檢測，以評估用戶姿態包括：

利用所述MobileNet算法從所述全身圖像中提取骨骼特征；

利用所述openpose網絡結構從所述骨骼特征提取骨骼線段和所述骨骼線段的關鍵點向量；

利用余弦相似度、夾角余弦和所述骨骼線段的權重對所述關鍵點向量進行計算，以評估用戶姿態。

3.根據權利要求2所述的方法，其特征在于，所述用戶身份包括用戶名、用戶性別和用戶年齡；以及

識別用戶身份包括：

在所述用戶姿態與預設姿態匹配時，獲取用戶的面部圖像；

調整所述面部圖像的尺寸，生成不同尺寸的面部圖像，以構建圖像金字塔；其中，所述圖像金字塔的層數根據以下公式確定：

minL﹥12，org_L是所述面部圖像的尺寸，minsize是最小人臉尺寸，factor是縮放因子，n是所述圖像金字塔的層數；

利用多層神經網絡結構檢測所述圖像金字塔，得到人臉框，基于所述人臉框識別出所述用戶名；

利用分類模型對所述面部圖像進行檢測，以確定所述用戶性別和所述用戶年齡；其中，所述分類模型包括三個卷積層和二個全連接層。

4.根據權利要求1所述的方法，其特征在于，基于幾何矩和邊緣檢測的識別算法識別用戶手勢，獲得手勢命令包括：

對用戶的手部進行定位與追蹤；

獲取用戶的手勢圖像，并對所述手勢圖像進行二值化處理；

采用幾何矩和邊緣檢測的識別算法計算所述手勢圖像的七個幾何矩特征分量，從七個所述幾何矩特征分量中選擇四個所述幾何矩特征分量作為幾何矩特征向量；

生成所述手勢圖像的灰度圖，檢測所述灰度圖的邊緣，得到所述手勢圖像的邊界方向特征向量；

基于所述幾何矩特征向量和所述邊界方向特征向量，計算所述手勢圖像與手勢庫中的任一手勢的距離，以獲得手勢命令。

5.一種模擬用戶穿戴服裝飾品的裝置，其特征在于，包括：

評估模塊，用于獲取用戶的全身圖像，基于評估模型對所述全身圖像進行檢測，以評估用戶姿態；其中，所述評估模型為基于MobileNet算法的openpose網絡結構；

第一識別模塊，用于識別用戶身份，根據所述用戶身份推薦服裝飾品；

第二識別模塊，用于基于幾何矩和邊緣檢測的識別算法識別用戶手勢，獲得手勢命令；

模擬模塊，用于基于所述用戶姿態和所述手勢命令模擬用戶穿戴服裝飾品。

6.根據權利要求5所述的裝置，其特征在于，所述評估模塊還用于：

利用所述MobileNet算法從所述全身圖像中提取骨骼特征；

利用所述openpose網絡結構從所述骨骼特征提取骨骼線段和所述骨骼線段的關鍵點向量；

利用余弦相似度、夾角余弦和所述骨骼線段的權重對所述關鍵點向量進行計算，以評估用戶姿態。