[發(fā)明專利]一種數(shù)據(jù)處理方法和相關(guān)裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202111679413.3
• 申請(qǐng)日: 2021-12-31
• 公開（公告）號(hào): CN116416370A
• 公開（公告）日: 2023-07-11
• 發(fā)明（設(shè)計(jì)）人: 韓俊;劉曉宇
• 申請(qǐng)（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號(hào): G06T17/00
• 分類號(hào): G06T17/00;G06T15/00;G06V10/46
• 代理公司: 深圳市深佳知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44285
• 代理人: 羅曉敏

1.一種數(shù)據(jù)處理方法，其特征在于，所述方法包括：

獲取包括目標(biāo)人臉的人臉圖像，以及用于在所述人臉圖像中標(biāo)識(shí)所述目標(biāo)人臉的樣本二維關(guān)鍵點(diǎn)；

通過將所述樣本二維關(guān)鍵點(diǎn)輸入初始深度模型，得到對(duì)應(yīng)的形狀基參數(shù)、表情基參數(shù)和位姿參數(shù)；

根據(jù)所述形狀基參數(shù)和所述表情基參數(shù)重建所述人臉圖像中目標(biāo)人臉對(duì)應(yīng)的三維網(wǎng)格，并基于所述位姿參數(shù)向所述人臉圖像投影所述三維網(wǎng)格，得到對(duì)應(yīng)的投影關(guān)鍵點(diǎn)；

基于具有相同關(guān)鍵點(diǎn)語義的所述投影關(guān)鍵點(diǎn)和所述樣本二維關(guān)鍵點(diǎn)間的距離，構(gòu)建重投影損失函數(shù)，所述關(guān)鍵點(diǎn)語義用于標(biāo)識(shí)目標(biāo)人臉的臉部位置；

通過所述重投影損失函數(shù)訓(xùn)練所述初始深度模型，得到用于重建人臉三維網(wǎng)格的深度模型。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

獲取包括待處理人臉的待識(shí)別人臉圖像；

根據(jù)所述待識(shí)別人臉圖像，確定用于在所述待識(shí)別人臉圖像中標(biāo)識(shí)所述待處理人臉的二維關(guān)鍵點(diǎn)；

通過將所述二維關(guān)鍵點(diǎn)輸入所述深度模型，得到所述待處理人臉對(duì)應(yīng)的形狀基參數(shù)、表情基參數(shù)和位姿參數(shù)；

根據(jù)所述待處理人臉對(duì)應(yīng)的形狀基參數(shù)和表情基參數(shù)重建所述待處理人臉對(duì)應(yīng)的三維網(wǎng)格；

基于渲染參數(shù)在所述三維網(wǎng)格對(duì)應(yīng)的位置添加渲染素材；

根據(jù)所述待處理人臉對(duì)應(yīng)的位姿參數(shù)，在所述待識(shí)別人臉圖像中投影添加了所述渲染素材的所述三維網(wǎng)格。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取包括目標(biāo)人臉的人臉圖像，以及用于標(biāo)識(shí)所述目標(biāo)人臉在所述人臉圖像中的樣本二維關(guān)鍵點(diǎn)，包括：

獲取人臉視頻和圖片形式的第一人臉圖像，所述人臉視頻包括視頻幀形式的多個(gè)第二人臉圖像；

根據(jù)所述第一人臉圖像中的所述目標(biāo)人臉，確定對(duì)應(yīng)的第一樣本二維關(guān)鍵點(diǎn)，以及根據(jù)所述多個(gè)第二人臉圖像中的所述目標(biāo)人臉，確定分別對(duì)應(yīng)的第二樣本二維關(guān)鍵點(diǎn)。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述通過將所述樣本二維關(guān)鍵點(diǎn)輸入初始深度模型，得到對(duì)應(yīng)的形狀基參數(shù)、表情基參數(shù)和位姿參數(shù)，包括：

通過所述初始深度模型，得到分別對(duì)應(yīng)至少兩個(gè)第二人臉圖像的形狀基參數(shù)、表情基參數(shù)和位姿參數(shù)，所述至少兩個(gè)第二人臉圖像為從同一個(gè)所述人臉視頻中提取的連續(xù)視頻幀；

在所述根據(jù)所述形狀基參數(shù)和所述表情基參數(shù)重建所述人臉圖像中目標(biāo)人臉對(duì)應(yīng)的三維網(wǎng)格之前，所述方法還包括：

根據(jù)所述至少兩個(gè)第二人臉圖像分別對(duì)應(yīng)的形狀基參數(shù)生成目標(biāo)形狀基參數(shù)，所述目標(biāo)形狀基參數(shù)用于作為重建所述至少兩個(gè)第二人臉圖像分別對(duì)應(yīng)的三維網(wǎng)格時(shí)所依據(jù)的形狀基參數(shù)。

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述形狀基參數(shù)和所述表情基參數(shù)重建所述人臉圖像中目標(biāo)人臉對(duì)應(yīng)的三維網(wǎng)格，包括：

根據(jù)至少兩個(gè)第二人臉圖像分別對(duì)應(yīng)的形狀基參數(shù)和表情基參數(shù)，重建所述至少兩個(gè)第二人臉圖像中目標(biāo)人臉分別對(duì)應(yīng)的三維網(wǎng)格，所述至少兩個(gè)第二人臉圖像為從同一個(gè)所述人臉視頻中提取的連續(xù)視頻幀；

基于所述至少兩個(gè)第二人臉圖像中目標(biāo)人臉分別對(duì)應(yīng)的三維網(wǎng)格間的網(wǎng)格差異，構(gòu)建時(shí)序約束損失函數(shù)；

所述通過所述重投影損失函數(shù)訓(xùn)練所述初始深度模型，得到用于重建人臉三維網(wǎng)格的深度模型，包括：

通過所述重投影損失函數(shù)和所述時(shí)序約束損失函數(shù)訓(xùn)練所述初始深度模型，得到用于重建人臉三維網(wǎng)格的深度模型。