[發(fā)明專利]基于增強現(xiàn)實的著色方法、裝置、電子設(shè)備與存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 201811497751.3
• 申請日: 2018-12-07
• 公開（公告）號: CN111292423A
• 公開（公告）日: 2020-06-16
• 發(fā)明（設(shè)計）人: 劉享軍;楊超;齊坤鵬;高國平
• 申請（專利權(quán)）人: 北京京東尚科信息技術(shù)有限公司;北京京東世紀貿(mào)易有限公司
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T17/20;G06T15/80
• 代理公司: 北京同立鈞成知識產(chǎn)權(quán)代理有限公司 11205
• 代理人: 羅英;劉芳

本申請實施例公開了一種基于增強現(xiàn)實的著色方法、裝置、電子設(shè)備與存儲介質(zhì)，該方法包括：獲取人臉三維網(wǎng)格信息，并基于所述人臉三維網(wǎng)格信息，獲取人臉的目標(biāo)部位的各頂點的位置坐標(biāo)和紋理坐標(biāo)；根據(jù)所述目標(biāo)部位的各頂點的位置坐標(biāo)，構(gòu)建所述目標(biāo)部位的三維網(wǎng)格，并確定所述三維網(wǎng)格中每個頂點的法線；基于所述三維網(wǎng)格中每個頂點的位置坐標(biāo)、紋理坐標(biāo)、法線，以及所述目標(biāo)部位預(yù)設(shè)的明暗貼圖、和所述目標(biāo)部位的目標(biāo)RGB值，對所述目標(biāo)部位進行著色，進而提高了著色的立體感和真實感，提高用戶體驗。

技術(shù)領(lǐng)域

本申請實施例涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種基于增強現(xiàn)實的著色方法、裝置、電子設(shè)備與存儲介質(zhì)。

背景技術(shù)

隨著增強現(xiàn)實(Augmented Reality，AR)技術(shù)的快速發(fā)展和網(wǎng)購的流行，AR試妝得到了快速發(fā)展，例如，用戶在購買唇彩時，不需要去商場專柜試色號，可以通過AR試妝，網(wǎng)購自己心儀的唇彩，進而提高了用戶的購物便利性。同時，AR試妝時，不需要像在專柜一樣，挨個涂抹，清潔度高。

現(xiàn)有的AR試妝方法為，采集用戶的人臉圖像，基于人臉圖像進行特征檢測。然后，利用特征點追蹤技術(shù)對特征點進行實時追蹤，在特征點的基礎(chǔ)之上，找出嘴部的特征點，繪制相應(yīng)的唇部網(wǎng)格模型，并進行著色。

但是，基于現(xiàn)有方法，獲取的是人臉的特征點的平面坐標(biāo)，進而使得唇部的網(wǎng)格是平面的，缺乏立體感，造成唇部光照效果的失真。

發(fā)明內(nèi)容

本申請實施例提供一種基于增強現(xiàn)實的著色方法、裝置、電子設(shè)備與存儲介質(zhì)。

第一方面，本申請實施例提供一種基于增強現(xiàn)實的著色方法，包括；

獲取人臉三維網(wǎng)格信息，并基于所述人臉三維網(wǎng)格信息，獲取人臉的目標(biāo)部位的各頂點的位置坐標(biāo)和紋理坐標(biāo)；

根據(jù)所述目標(biāo)部位的各頂點的位置坐標(biāo)，構(gòu)建所述目標(biāo)部位的三維網(wǎng)格，并確定所述三維網(wǎng)格中每個頂點的法線；

基于所述三維網(wǎng)格中每個頂點的位置坐標(biāo)、紋理坐標(biāo)、法線，以及所述目標(biāo)部位預(yù)設(shè)的明暗貼圖、和所述目標(biāo)部位的目標(biāo)RGB值，對所述目標(biāo)部位進行著色。

在第一方面的一種可能的實現(xiàn)方式中，所述基于所述三維網(wǎng)格中每個頂點的位置坐標(biāo)、紋理坐標(biāo)、法線，以及所述目標(biāo)部位的預(yù)設(shè)的明暗貼圖，和所述目標(biāo)部位的目標(biāo)RGB值，對所述目標(biāo)部位進行著色，包括：

根據(jù)所述三維網(wǎng)格中每個頂點的位置坐標(biāo)、紋理坐標(biāo)和法線，對每個頂點所在的三角面進行光柵化處理，確定每個三角面中各像素點的位置坐標(biāo)、紋理坐標(biāo)和法線；

根據(jù)每個所述像素點的位置坐標(biāo)和紋理坐標(biāo)，從所述明暗貼圖中獲取每個像素點對應(yīng)的灰度值；

根據(jù)每個像素點的灰度值和法線、以及所述目標(biāo)RGB值，對所述每個像素點進行著色。

在第一方面的另一種可能的實現(xiàn)方式中，所述根據(jù)每個像素點的灰度值和法線、以及所述目標(biāo)RGB值，對所述每個像素點進行著色，包括：

根據(jù)每個所述像素點的法線、漫反射強度、光線方向和所述目標(biāo)RGB值，確定每個所述像素點的漫反射顏色值；

根據(jù)每個所述像素點的法線和灰度值，以及預(yù)設(shè)的高光強度、光線方向、視線方向和光滑度系數(shù)，確定每個所述像素點的高光顏色；

根據(jù)每個所述像素點的漫反射顏色值和所述高光顏色，確定每個所述像素點輸出到顯示器上的顏色值。

在第一方面的另一種可能的實現(xiàn)方式中，所述根據(jù)每個所述像素點的漫反射顏色值和所述高光顏色，確定每個所述像素點輸出到顯示器上的顏色值，包括：

針對每個像素點，將該像素點的漫反射顏色值和高光顏色之和，作為該像素點輸出到顯示器上的顏色值。