[發(fā)明專利]特效顯示方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110501904.2
• 申請(qǐng)日: 2021-05-08
• 公開(kāi)（公告）號(hào): CN113139919A
• 公開(kāi)（公告）日: 2021-07-20
• 發(fā)明（設(shè)計(jì)）人: 陳盛福
• 申請(qǐng)（專利權(quán)）人: 廣州繁星互娛信息科技有限公司
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00;G06T7/246;G06K9/00;G06K9/62
• 代理公司: 北京三高永信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11138
• 代理人: 李芳

本申請(qǐng)公開(kāi)了一種特效顯示方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)，屬于互聯(lián)網(wǎng)技術(shù)領(lǐng)域。本申請(qǐng)實(shí)施例中，在人臉圖像幀中顯示特效時(shí)，若當(dāng)前圖像幀無(wú)法檢測(cè)到人臉，基于之前圖像幀所檢測(cè)到的人臉關(guān)鍵點(diǎn)，對(duì)當(dāng)前圖像幀進(jìn)行人臉關(guān)鍵點(diǎn)跟蹤，就能夠跟蹤到當(dāng)前圖像幀的人臉關(guān)鍵點(diǎn)，提供了一種基于人臉關(guān)鍵點(diǎn)跟蹤的特效顯示方法，進(jìn)而，在該圖像幀對(duì)應(yīng)的人臉關(guān)鍵點(diǎn)滿足目標(biāo)條件的情況下，基于人臉跟蹤到的人臉關(guān)鍵點(diǎn)進(jìn)行特效的顯示，避免由于人臉檢測(cè)失敗而造成后續(xù)人臉特效突然消失或者變形的問(wèn)題，確保了特效的持續(xù)顯示。

技術(shù)領(lǐng)域

本申請(qǐng)涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，特別涉及一種特效顯示方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，在拍攝或直播時(shí)使用特效已成為一種新的娛樂(lè)方式。用戶可以使用人臉特效，如美顏特效、萌臉特效等，此時(shí)終端會(huì)在對(duì)應(yīng)畫(huà)面中為用戶的臉部添加該人臉特效。

目前，特效顯示方法通常為：終端對(duì)采集到的圖像幀進(jìn)行人臉檢測(cè)，得到圖像幀的人臉檢測(cè)結(jié)果，基于該人臉檢測(cè)結(jié)果，在對(duì)應(yīng)圖像幀中為用戶的臉部添加人臉特效。

然而，在拍攝或直播過(guò)程中，由于用戶的臉部可能不會(huì)一直正對(duì)終端，導(dǎo)致終端有時(shí)無(wú)法檢測(cè)到用戶的人臉，會(huì)出現(xiàn)人臉特效突然消失或者變形的情況。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提供了一種特效顯示方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)，提供了一種基于人臉關(guān)鍵點(diǎn)跟蹤的特效顯示方法，避免由于人臉檢測(cè)失敗而造成后續(xù)人臉特效突然消失或者變形的問(wèn)題。該技術(shù)方案如下：

一方面，提供了一種特效顯示方法，由終端執(zhí)行，該方法包括：

響應(yīng)于對(duì)目標(biāo)特效的顯示指令，在第一圖像幀的人臉位置上，顯示目標(biāo)特效，該人臉位置基于多個(gè)第一人臉關(guān)鍵點(diǎn)確定，該多個(gè)第一人臉關(guān)鍵點(diǎn)基于對(duì)該第一圖像幀的人臉檢測(cè)得到；

響應(yīng)于第二圖像幀人臉檢測(cè)失敗，基于該多個(gè)第一人臉關(guān)鍵點(diǎn)，對(duì)該第二圖像幀進(jìn)行人臉關(guān)鍵點(diǎn)跟蹤，得到多個(gè)第二人臉關(guān)鍵點(diǎn)，該第二圖像幀為該第一圖像幀之后的圖像幀；

響應(yīng)于該多個(gè)第二人臉關(guān)鍵點(diǎn)滿足目標(biāo)條件，在基于該多個(gè)第二人臉關(guān)鍵點(diǎn)所確定的人臉位置上，顯示該目標(biāo)特效。

在一些實(shí)施例中，響應(yīng)于該多個(gè)第二人臉關(guān)鍵點(diǎn)滿足目標(biāo)條件，在基于該多個(gè)第二人臉關(guān)鍵點(diǎn)所確定的人臉位置上，顯示該目標(biāo)特效包括：

對(duì)于該第二人臉關(guān)鍵點(diǎn)，獲取該第一圖像幀的第一圖像特征和該第二圖像幀的第二圖像特征，該第一圖像特征為該第二人臉關(guān)鍵點(diǎn)對(duì)應(yīng)的第一人臉關(guān)鍵點(diǎn)關(guān)聯(lián)區(qū)域的圖像特征，該第二圖像特征為該第二人臉關(guān)鍵點(diǎn)關(guān)聯(lián)區(qū)域的圖像特征；

確定多個(gè)該第二人臉關(guān)鍵點(diǎn)的該第一圖像特征與該第二圖像特征之間的圖像相似度；

響應(yīng)于多個(gè)該第二人臉關(guān)鍵點(diǎn)對(duì)應(yīng)的圖像相似度均達(dá)到第一閾值，在基于該多個(gè)第二人臉關(guān)鍵點(diǎn)所確定的人臉位置上，顯示該目標(biāo)特效。

在一些實(shí)施例中，確定多個(gè)該第二人臉關(guān)鍵點(diǎn)的該第一圖像特征與該第二圖像特征之間的圖像相似度之后，該方法還包括：

基于多個(gè)該第二人臉關(guān)鍵點(diǎn)對(duì)應(yīng)的圖像相似度，確定目標(biāo)比例，該目標(biāo)比例為圖像相似度達(dá)到第一閾值的第二人臉關(guān)鍵點(diǎn)的數(shù)量占第二人臉關(guān)鍵點(diǎn)總數(shù)的比例；

響應(yīng)于該目標(biāo)比例達(dá)到比例閾值，執(zhí)行該在基于該多個(gè)第二人臉關(guān)鍵點(diǎn)所確定的人臉位置上，顯示該目標(biāo)特效的步驟。

在一些實(shí)施例中，響應(yīng)于該多個(gè)第二人臉關(guān)鍵點(diǎn)滿足目標(biāo)條件，在基于該多個(gè)第二人臉關(guān)鍵點(diǎn)所確定的人臉位置上，顯示該目標(biāo)特效包括：

確定第一人臉輪廓和第二人臉輪廓之間的人臉相似度，該第一人臉輪廓為該多個(gè)第一人臉關(guān)鍵點(diǎn)對(duì)應(yīng)的人臉輪廓，該第二人臉輪廓為該多個(gè)第二人臉關(guān)鍵點(diǎn)對(duì)應(yīng)的第二人臉輪廓；