[發(fā)明專利]一種數(shù)據(jù)處理方法和相關(guān)裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202111679413.3
• 申請(qǐng)日: 2021-12-31
• 公開（公告）號(hào): CN116416370A
• 公開（公告）日: 2023-07-11
• 發(fā)明（設(shè)計(jì)）人: 韓俊;劉曉宇
• 申請(qǐng)（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號(hào): G06T17/00
• 分類號(hào): G06T17/00;G06T15/00;G06V10/46
• 代理公司: 深圳市深佳知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44285
• 代理人: 羅曉敏

本申請(qǐng)實(shí)施例公開了一種數(shù)據(jù)處理方法和相關(guān)裝置，基于重投影原理，處理設(shè)備可以通過將維度較少的具有特定關(guān)鍵點(diǎn)語義的二維關(guān)鍵點(diǎn)作為模型輸入進(jìn)行模型訓(xùn)練，通過重投影損失函數(shù)控制模型進(jìn)行學(xué)習(xí)，得到能夠進(jìn)行參數(shù)確定的深度模型，從而在基于該深度模型確定出的參數(shù)重建三維人臉時(shí)，只需要維度遠(yuǎn)小于圖像數(shù)據(jù)維度的關(guān)鍵點(diǎn)數(shù)據(jù)，即可確定出精度和匹配度較高的三維人臉，同時(shí)由于輸入數(shù)據(jù)維度較小，因此三維人臉的重建速度得到了大幅提高。

技術(shù)領(lǐng)域

本申請(qǐng)涉及數(shù)據(jù)處理領(lǐng)域，特別是涉及一種數(shù)據(jù)處理方法和相關(guān)裝置。

背景技術(shù)

三維(3D)人臉重建算法是從二維(2D)圖片提供的2D人臉信息估計(jì)出真實(shí)的3D人臉信息(如人臉的3D?MESH或者叫3D網(wǎng)格)的技術(shù)。3D人臉重建算法在視頻、圖像處理場(chǎng)景下有著廣泛的應(yīng)用，例如人臉頭套、人臉表情驅(qū)動(dòng)等都需要準(zhǔn)確的3D網(wǎng)格作為依據(jù)。

在很多應(yīng)用場(chǎng)景中對(duì)3D人臉重建算法的處理時(shí)延有較高的要求，而相關(guān)技術(shù)中的3D人臉重建算法需要通過多步迭代，耗時(shí)高，為了減少計(jì)算量通常在很多步驟采用近似計(jì)算，導(dǎo)致重建的3D網(wǎng)格精度不高，投影到原2D圖片時(shí)在人臉的眼睛、嘴巴和人臉邊界處的貼合度難以保證。

發(fā)明內(nèi)容

為了解決上述技術(shù)問題，本申請(qǐng)?zhí)峁┝艘环N數(shù)據(jù)處理方法，在加快三維人臉重建速度的同時(shí)，提高三維人臉重建的精度和與真實(shí)人臉的匹配度。

本申請(qǐng)實(shí)施例公開了如下技術(shù)方案：

第一方面，本申請(qǐng)實(shí)施例公開了一種數(shù)據(jù)處理方法所述方法包括：

獲取包括目標(biāo)人臉的人臉圖像，以及用于在所述人臉圖像中標(biāo)識(shí)所述目標(biāo)人臉的樣本二維關(guān)鍵點(diǎn)；

通過將所述樣本二維關(guān)鍵點(diǎn)輸入初始深度模型，得到對(duì)應(yīng)的形狀基參數(shù)、表情基參數(shù)和位姿參數(shù)；

根據(jù)所述形狀基參數(shù)和所述表情基參數(shù)重建所述人臉圖像中目標(biāo)人臉對(duì)應(yīng)的三維網(wǎng)格，并基于所述位姿參數(shù)向所述人臉圖像投影所述三維網(wǎng)格，得到對(duì)應(yīng)的投影關(guān)鍵點(diǎn)；

基于具有相同關(guān)鍵點(diǎn)語義的所述投影關(guān)鍵點(diǎn)和所述樣本二維關(guān)鍵點(diǎn)間的距離，構(gòu)建重投影損失函數(shù)，所述關(guān)鍵點(diǎn)語義用于標(biāo)識(shí)目標(biāo)人臉的臉部位置；

通過所述重投影損失函數(shù)訓(xùn)練所述初始深度模型，得到用于重建人臉三維網(wǎng)格的深度模型。

第二方面，本申請(qǐng)實(shí)施例公開了一種數(shù)據(jù)處理裝置，所述裝置包括第一獲取單元、第一輸入單元、第一重建單元、第一構(gòu)建單元和訓(xùn)練單元：

所述第一獲取單元，用于獲取包括目標(biāo)人臉的人臉圖像，以及用于在所述人臉圖像中標(biāo)識(shí)所述目標(biāo)人臉的樣本二維關(guān)鍵點(diǎn)；

所述第一輸入單元，用于通過將所述樣本二維關(guān)鍵點(diǎn)輸入初始深度模型，得到對(duì)應(yīng)的形狀基參數(shù)、表情基參數(shù)和位姿參數(shù)；

所述第一重建單元，用于根據(jù)所述形狀基參數(shù)和所述表情基參數(shù)重建所述人臉圖像中目標(biāo)人臉對(duì)應(yīng)的三維網(wǎng)格，并基于所述位姿參數(shù)向所述人臉圖像投影所述三維網(wǎng)格，得到對(duì)應(yīng)的投影關(guān)鍵點(diǎn)；

所述第一構(gòu)建單元，用于基于具有相同關(guān)鍵點(diǎn)語義的所述投影關(guān)鍵點(diǎn)和所述樣本二維關(guān)鍵點(diǎn)間的距離，構(gòu)建重投影損失函數(shù)，所述關(guān)鍵點(diǎn)語義用于標(biāo)識(shí)目標(biāo)人臉的臉部位置；

所述訓(xùn)練單元，用于通過所述重投影損失函數(shù)訓(xùn)練所述初始深度模型，得到用于重建人臉三維網(wǎng)格的深度模型。

在一種可能的實(shí)現(xiàn)方式中，所述裝置還包括第二獲取單元、第一確定單元、第二輸入單元、第二重建單元、添加單元和投影單元：

所述第二獲取單元，用于獲取包括待處理人臉的待識(shí)別人臉圖像；

所述第一確定單元，用于根據(jù)所述待識(shí)別人臉圖像，確定用于在所述待識(shí)別人臉圖像中標(biāo)識(shí)所述待處理人臉的二維關(guān)鍵點(diǎn)；