[發明專利]虛擬試用方法、裝置、電子設備及存儲介質

有效

• 申請號: 202011031894.2
• 申請日: 2020-09-27
• 公開（公告）號: CN111882408B
• 公開（公告）日: 2021-07-09
• 發明（設計）人: 趙松濤;楊量;郭益林;宋叢禮
• 申請（專利權）人: 北京達佳互聯信息技術有限公司
• 主分類號: G06Q30/06
• 分類號: G06Q30/06;G06T17/00;G06K9/62;G06T5/00;G06T7/11
• 代理公司: 北京銀龍知識產權代理有限公司 11243
• 代理人: 許靜;黃燦

本公開關于一種虛擬試用方法、裝置、電子設備及存儲介質。其中，虛擬試用方法包括：獲取包括目標身體部位的第一圖像；將所述第一圖像輸入訓練好的第一模型中，以得到與所述第一圖像的目標身體部位對應的N個關鍵點的坐標信息和第一掩碼區域，其中，所述N個關鍵點均位于所述第一掩碼區域內，N為大于1的整數；根據所述N個關鍵點的坐標信息，確定試用物品的三維模型在所述第一圖像的投影位置；將所述試用物品的三維模型投影到所述投影位置，得到所述第一圖像的試用圖像。根據本公開的方案，可以將預測得到的關鍵點約束于掩碼區域內，從而可以提高試用物品的三維模型投影的準確性，進而提高物品的試用準確性。

技術領域

本公開涉及虛擬現實、增強現實領域，尤其涉及虛擬試用方法、裝置、電子設備及存儲介質。

背景技術

隨著互聯網技術的興起，全球產業進入了互聯網時代。在日常的生產生活中，網絡購物日益成為一種主流的消費模式。

相關技術中，在網絡購買物品時，用戶主要通過賣家拍攝的單一平面物品展示效果作為選擇物品的依據，容易造成用戶實際收到的物品與用戶預期收到的物品差距較大，進而導致退貨率較高。

發明內容

本公開提供一種虛擬試用方法、裝置、電子設備及存儲介質，以至少解決相關技術中退貨率較高的問題。本公開的技術方案如下：

根據本公開實施例的第一方面，提供一種虛擬試用方法，所述方法包括：

獲取包括目標身體部位的第一圖像；

將所述第一圖像輸入訓練好的第一模型中，以得到與所述第一圖像的目標身體部位對應的N個關鍵點的坐標信息和第一掩碼區域，其中，所述N個關鍵點均位于所述第一掩碼區域內，N為大于1的整數；

根據所述N個關鍵點的坐標信息，確定試用物品的三維模型在所述第一圖像的投影位置；

將所述試用物品的三維模型投影到所述投影位置，得到所述第一圖像的試用圖像。

可選的，所述根據所述N個關鍵點的坐標信息，確定試用物品的三維模型在所述第一圖像的投影位置步驟，包括：

對所述N個關鍵點的坐標信息進行時序平滑處理；

根據時序平滑處理后的所述N個關鍵點的坐標信息，確定試用物品的三維模型在所述第一圖像的投影位置。

可選的，所述第一模型還輸出有與所述目標身體部位的遮擋物對應的第二掩碼區域；

所述將所述試用物品的三維模型投影到所述投影位置，得到所述第一圖像的試用圖像步驟之后，所述方法還包括：

根據所述第一掩碼區域和所述第二掩碼區域，確定遮擋關系；

根據所述遮擋關系，確定所述第一圖像的試用圖像中被所述遮擋物遮擋的第一區域，以及未被所述遮擋物遮擋的第二區域；

保持所述第一區域不變，并將所述遮擋物按照所述遮擋關系遮擋所述第二區域，得到調整后的所述第一圖像的試用圖像。

可選的，所述根據所述第一掩碼區域和所述第二掩碼區域，確定遮擋關系步驟，包括：

對所述第一掩碼區域和所述第二掩碼區域分別進行時序平滑處理；

根據時序平滑處理后的所述第一掩碼區域和時序平滑處理后的所述第二掩碼區域，確定遮擋關系。

可選的，所述N個關鍵點為N個二維關鍵點，或，所述N個關鍵點為N個三維關鍵點。

可選的，在所述N個關鍵點為N個二維關鍵點的情況下，所述第一模型還輸出有所述N個關鍵點的可見性分類結果；

所述根據所述N個關鍵點的坐標信息，確定試用物品的三維模型在所述第一圖像的投影位置步驟，包括：