[發明專利]全景面部圖像的制作方法、裝置、電子設備及存儲介質

在審

• 申請號: 202110682623.1
• 申請日: 2021-06-18
• 公開（公告）號: CN113343879A
• 公開（公告）日: 2021-09-03
• 發明（設計）人: 羅家禎;陳福興;劉興云;李志陽;齊子銘
• 申請（專利權）人: 廈門美圖之家科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06T15/04
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 曹瑞敏

1.一種全景面部圖像的制作方法，其特征在于，包括：

獲取用戶的面部三維模型、采集的多個預設視角的面部圖像、所述面部圖像對應的攝像設備參數以及所述面部三維模型相對于所述攝像設備中的中間設備的位姿矩陣；

對所述中間設備所對應的所述面部圖像進行關鍵部位檢測，獲取各關鍵部位對應的關鍵點數據；

根據所述關鍵點數據將所述面部三維模型映射到紋理空間，得到紋理空間的面部三維模型；

根據所述紋理空間的面部三維模型、多個所述預設視角的面部圖像以及所述攝像設備參數、所述中間設備的位姿矩陣，在所述紋理空間融合獲取全景面部圖像。

2.如權利要求1所述的方法，其特征在于，所述根據所述紋理空間的面部三維模型、多個所述預設視角的面部圖像以及所述攝像設備參數、所述中間設備的位姿矩陣，在所述紋理空間融合獲取全景面部圖像，包括：

根據多個所述預設視角的面部圖像以及所述攝像設備參數、所述中間設備的位姿矩陣，將各所述預設視角的面部圖像渲染到所述紋理空間的面部三維模型，獲取對應的渲染結果；

根據所述渲染結果進行融合，獲取所述全景面部圖像。

3.如權利要求1所述的方法，其特征在于，所述獲取用戶的面部三維模型，包括：

獲取所述用戶的初始面部三維模型；

根據矯正矩陣對所述初始面部三維模型進行矯正，得到所述面部三維模型。

4.如權利要求3所述的方法，其特征在于，在所述根據矯正矩陣對所述初始面部三維模型進行矯正，得到所述面部三維模型之前，所述方法還包括：

獲取所述用戶的參考三維模型；

根據所述初始面部三維模型和所述參考三維模型，計算獲取所述初始面部三維模型到所述參考三維模型的所述矯正矩陣。

5.如權利要求1所述的方法，其特征在于，所述根據所述關鍵點數據將所述面部三維模型映射到紋理空間，包括：

根據所述各關鍵部位建立用戶坐標系，確定所述各關鍵部位在所述用戶坐標系的關鍵點坐標；

根據所述關鍵點數據對應的三維坐標和所述關鍵點坐標，計算所述用戶坐標系的變換矩陣；

根據所述變換矩陣，對所述面部三維模型的三維頂點坐標進行變換，得到所述面部三維模型的頂點在所述用戶坐標系下的用戶坐標；

采用預設展開法將所述頂點的用戶坐標映射到紋理空間。

6.如權利要求2所述的方法，其特征在于，所述根據所述渲染結果進行融合，獲取所述全景面部圖像，包括：

將所述中間設備所對應的所述面部圖像的關鍵點數據映射到所述紋理空間；

根據映射到所述紋理空間的關鍵點數據，計算所述預設視角融合邊界；

根據所述預設視角融合邊界，將所述渲染結果進行融合，得到所述全景面部圖像。

7.如權利要求6所述的方法，其特征在于，所述關鍵部位至少包括：鼻尖、眉心、人中、外嘴角、眼輪廓、眉毛輪廓。

8.如權利要求7所述的方法，其特征在于，所述根據映射到所述紋理空間的關鍵點數據，計算所述預設視角融合邊界，包括：

根據映射到所述紋理空間的關鍵點數據中所述外嘴角、所述眼輪廓、所述眉毛輪廓的關鍵點數據，計算兩條三次樣條曲線作為所述預設視角融合邊界。

9.一種全景面部圖像的制作裝置，其特征在于，包括：

獲取模塊，用于獲取用戶的面部三維模型、采集的多個預設視角的面部圖像、所述面部圖像對應的攝像設備參數以及所述面部三維模型相對于所述攝像設備中的中間設備的位姿矩陣；

關鍵部位檢測模塊，用于對所述中間設備所對應的所述面部圖像進行關鍵部位檢測，獲取各關鍵部位對應的關鍵點數據；

映射模塊，用于根據所述關鍵點數據將所述面部三維模型映射到紋理空間，得到紋理空間的面部三維模型；

融合模塊，用于根據所述紋理空間的面部三維模型、多個所述預設視角的面部圖像以及所述攝像設備參數、所述中間設備的位姿矩陣，在所述紋理空間融合獲取全景面部圖像。