[發(fā)明專利]視頻處理方法及相關(guān)裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201910848464.0
• 申請(qǐng)日: 2019-09-09
• 公開(kāi)（公告）號(hào): CN110751026B
• 公開(kāi)（公告）日: 2023-10-27
• 發(fā)明（設(shè)計(jì)）人: 袁小薇
• 申請(qǐng)（專利權(quán)）人: 深圳追一科技有限公司
• 主分類號(hào): G06V40/16
• 分類號(hào): G06V40/16;G06V20/64;G06V20/40
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 郝傳鑫;熊永強(qiáng)

本申請(qǐng)實(shí)施例提供視頻處理方法及相關(guān)裝置，其中，所述方法包括：根據(jù)目標(biāo)表情參數(shù)，確定出目標(biāo)法線圖，所述目標(biāo)表情參數(shù)與參考視頻中的參考圖像幀相對(duì)應(yīng)，所述參考圖像幀包括參考人臉圖像；根據(jù)所述目標(biāo)法線圖，重構(gòu)所述參考人臉圖像，得到目標(biāo)人臉圖像；根據(jù)所述目標(biāo)人臉圖像，對(duì)所述參考視頻進(jìn)行更新，得到目標(biāo)視頻，因此，能夠提升視頻處理時(shí)的準(zhǔn)確性。

技術(shù)領(lǐng)域

本申請(qǐng)涉及視頻處理技術(shù)領(lǐng)域，具體涉及一種視頻處理方法及相關(guān)裝置。

背景技術(shù)

隨著視頻處理技術(shù)的不斷發(fā)展，用戶可以基于三維人臉模型可以通過(guò)調(diào)節(jié)表情參數(shù)來(lái)改變?nèi)四槺砬椤⒈砬樽儞Q后的三維人臉模型投影到背景視頻后，需要構(gòu)建人臉皮膚的紋理材質(zhì)來(lái)增強(qiáng)數(shù)字人的真實(shí)感。現(xiàn)有方案中通常采用單張圖片作為皮膚紋理(表情參數(shù))，來(lái)對(duì)視頻進(jìn)行處理時(shí)，導(dǎo)致了視頻處理時(shí)的準(zhǔn)確性較低。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提供一種視頻處理方法及相關(guān)裝置，能夠提升視頻處理時(shí)的準(zhǔn)確性。

本申請(qǐng)實(shí)施例的第一方面提供了一種視頻處理方法，所述方法包括：

根據(jù)目標(biāo)表情參數(shù)，確定出目標(biāo)法線圖，所述目標(biāo)表情參數(shù)與參考視頻中的參考圖像幀相對(duì)應(yīng)，所述參考圖像幀包括參考人臉圖像；

根據(jù)所述目標(biāo)法線圖，重構(gòu)所述參考人臉圖像，得到目標(biāo)人臉圖像；

根據(jù)所述目標(biāo)人臉圖像，對(duì)所述參考視頻進(jìn)行更新，得到目標(biāo)視頻。

可選的，所述根據(jù)目標(biāo)表情參數(shù)，確定出目標(biāo)法線圖，包括：

根據(jù)所述目標(biāo)表情參數(shù)驅(qū)動(dòng)參考三維模型，得到目標(biāo)三維模型，所述參考三維模型為目標(biāo)用戶對(duì)應(yīng)的三維模型，所述目標(biāo)用戶為所述參考人臉圖像對(duì)應(yīng)的用戶；

根據(jù)所述目標(biāo)三維模型，確定出所述目標(biāo)法線圖。

可選的，所述根據(jù)所述目標(biāo)三維模型，確定出所述目標(biāo)法線圖，包括：

獲取所述目標(biāo)三維模型的每個(gè)頂點(diǎn)的深度值，所述頂點(diǎn)與目標(biāo)法線圖中的目標(biāo)法向量一一對(duì)應(yīng)；

根據(jù)所述每個(gè)頂點(diǎn)的深度值，確定出二維深度圖；

根據(jù)所述二維深度圖，確定出所述第一參考法線圖；

根據(jù)所述第一參考法線圖和所述參考人臉圖像，確定出目標(biāo)法線圖。

可選的，所述第一參考法線圖包括N個(gè)第一參考法向量，所述目標(biāo)法線圖包括N個(gè)目標(biāo)法向量，N為正整數(shù)，所述根據(jù)所述第一參考法線圖和所述參考人臉圖像，確定出目標(biāo)法線圖，包括：

獲取所述參考人臉圖像的第二參考法線圖，所述第二參考法線圖包括N個(gè)第二參考法向量，所述N個(gè)第二參考法向量與所述N個(gè)第一參考法向量一一對(duì)應(yīng)；

根據(jù)所述N個(gè)第二參考法向量和預(yù)設(shè)的反照率值，確定出所述N個(gè)第二法向量中的每個(gè)第二法向量相對(duì)應(yīng)的光照因子，得到N個(gè)目標(biāo)光照因子；

根據(jù)所述N個(gè)目標(biāo)光照因子，確定出所述N個(gè)第二法向量中的每個(gè)第二法向量相對(duì)應(yīng)的反照率，得到N個(gè)目標(biāo)反照率；

根據(jù)所述N個(gè)目標(biāo)反照率、所述N個(gè)目標(biāo)光照因子、所述N個(gè)第一參考法向量和所述參考人臉圖像的每個(gè)頂點(diǎn)的像素值，確定出N個(gè)目標(biāo)法向量，以得到所述目標(biāo)法線圖。

可選的，所述方法還包括：

展示所述目標(biāo)視頻；

接收所述目標(biāo)視頻的展示效果信息；

根據(jù)所述展示效果信息，確定出所述參考視頻的更新評(píng)分值；

展示所述更新評(píng)分值。