[發明專利]一種基于三維人頭跟蹤的實時虛擬試發方法

有效

• 申請號: 202110010852.9
• 申請日: 2021-01-06
• 公開（公告）號: CN112802031B
• 公開（公告）日: 2023-05-05
• 發明（設計）人: 趙葉清;楊柏林;楊文武
• 申請（專利權）人: 浙江工商大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T15/00;G06T19/00;G06V10/774
• 代理公司: 杭州奧創知識產權代理有限公司 33272
• 代理人: 王佳健

本發明涉及一種基于三維人頭跟蹤的實時虛擬試發方法。本發明首先訓練耳朵和脖子分割器；然后訓練三維人頭重建模型，其中包括構建三維人頭重建模型，使用訓練集對三維人頭重建模型進行訓練，通過最小化關鍵點損失函數、形狀一致損失函數、耳朵形狀一致損失函數和脖子形狀一致損失函數來得到最優的網絡模型參數，最后虛擬試戴。本發明在三維空間內將發型佩戴到受試者的人頭上，使得試戴的效果更加逼真，大大地提升了用戶的體驗感，并且為個性化形象設計，在線商城等提供技術支持。

技術領域

本發明屬于增加現實領域，具體涉及一種基于三維人頭跟蹤的實時虛擬試發方法。

背景技術

頭發作為個人形象的一個重要特征，在如今追求個性化的時代越來越受到人們的重視，擁有一個能提升自身形象的發型已經成為人們日常生活工作中的一部分。如果去理發店通過跟理發師口頭描述自己想要發型或者選擇發型手冊中的一款發型來進行理發的話，往往會出現修剪后的發型并不適合自己的結果并且一般該結果都難以改變。這時候如果可以在還未理發前就能試驗一下選擇的發型是否適合自己，結果就未必會如此糟糕。但是如果是通過佩戴假發來模擬修建發型后的效果，僅僅是為每個發型準備一個可試戴的假發就會導致成本十分高，而且佩戴假發這一過程十分費時費力。相對來說，如果能夠進行虛擬試發的話，成本將會更低，并且更加便捷，適用的范圍也更加的廣泛，可用于個性化形象設計、在線商城試戴等領域。

目前市場上存在的虛擬試發系統都是基于二維圖片的，即用戶輸入一張人臉照片并且選擇一個特定的發型，系統則會自動把選擇的發型佩戴在輸入的照片中的人臉頭部上。然而該類系統會出現如下幾個主要缺點：(1)相對于正面角度，若用戶輸入側面角度的相片，佩戴結果較差，選擇的發型并不會根據人臉旋轉的角度來進行對應的變化。(2)用戶若想要觀察不同角度的試發效果，需要重復提供不同角度的相片，操作過程較為繁瑣。

發明內容

本發明針對現有技術的不足，提供了一種基于三維跟蹤的實時虛擬試發方法。用戶可以輸入一段試發視頻并且選擇像想要試戴的發型，該技術會自動將選擇的發型對應地三維虛擬頭發佩戴到輸入的視頻幀中的用戶人頭上，并進行增強現實繪制，使得用戶可以實時地觀看到虛實結合的試發效果。

本發明解決其技術問題所采用的技術方案步驟如下：

步驟1、訓練耳朵和脖子分割器

(1-1)準備帶有耳朵掩膜和脖子掩膜的人臉圖片數據庫；

(1-2)使用人臉圖片數據庫來訓練實例分割模型，得到耳朵脖子分割器。

步驟2、訓練三維人頭重建模型

(2-1)構建三維人頭重建模型，所述的三維人頭重建模型包括特征提取網絡，參數回歸網絡和FLAME解碼網絡；

所述特征提取網絡用于提取人臉輸入圖片的2048維的特征向量；

所述參數回歸網絡的輸入為特征提取網絡提取的特征向量，輸出為159維的參數向量，其中前3維為相機參數，接下來6維為姿態參數，接下來100維為形狀參數，余下50維為表情參數；

將獲得的姿態參數、形狀參數和表情參數作為FLAME解碼網絡的輸入，得到與人臉輸入圖片中人臉對應的三維人頭；

(2-2)使用訓練集對三維人頭重建模型進行訓練，通過最小化關鍵點損失函數、形狀一致損失函數、耳朵形狀一致損失函數和脖子形狀一致損失函數來得到最優的網絡模型參數。

步驟3、虛擬試戴

(3-1)準備三維頭發模型；

(3-2)通過三維人頭重建模型構建試戴者的三維人頭；

(3-3)將三維頭發模型佩戴到試戴者的三維人頭上并進行增強現實繪制。