[發(fā)明專利]基于先驗(yàn)約束的人臉關(guān)鍵點(diǎn)檢測(cè)方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202210083501.5
• 申請(qǐng)日: 2022-01-25
• 公開（公告）號(hào): CN114118303B
• 公開（公告）日: 2022-04-29
• 發(fā)明（設(shè)計(jì)）人: 王金橋;劉智威;李碧瑩;趙朝陽
• 申請(qǐng)（專利權(quán)）人: 中科視語（北京）科技有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06V40/16;G06V10/774;G06V10/20
• 代理公司: 北京路浩知識(shí)產(chǎn)權(quán)代理有限公司 11002
• 代理人: 吳剛

本發(fā)明提供一種基于先驗(yàn)約束的人臉關(guān)鍵點(diǎn)檢測(cè)方法及裝置，該方法包括：獲取待識(shí)別人臉圖像；將待識(shí)別人臉圖像輸入至人臉關(guān)鍵點(diǎn)檢測(cè)模型中，得到人臉關(guān)鍵點(diǎn)檢測(cè)模型提取的自注意力特征，以及基于自注意力特征輸出的人臉關(guān)鍵點(diǎn)位置信息；其中，人臉關(guān)鍵點(diǎn)檢測(cè)模型為基于人臉樣本圖像、人臉關(guān)鍵點(diǎn)位置樣本數(shù)據(jù)以及人臉樣本圖像的結(jié)構(gòu)先驗(yàn)特征進(jìn)行有監(jiān)督訓(xùn)練得到的，人臉樣本圖像的結(jié)構(gòu)先驗(yàn)特征為對(duì)人臉關(guān)鍵點(diǎn)位置樣本數(shù)據(jù)進(jìn)行結(jié)構(gòu)先驗(yàn)生成運(yùn)算得到的，人臉關(guān)鍵點(diǎn)位置樣本數(shù)據(jù)為人臉樣本圖像對(duì)應(yīng)的樣本標(biāo)簽。本發(fā)明提供的基于先驗(yàn)約束的人臉關(guān)鍵點(diǎn)檢測(cè)方法及裝置，能夠提高人臉關(guān)鍵點(diǎn)檢測(cè)的準(zhǔn)確率，抗干擾能力強(qiáng)，提升困難場(chǎng)景下的魯棒性。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能技術(shù)領(lǐng)域，尤其涉及一種基于先驗(yàn)約束的人臉關(guān)鍵點(diǎn)檢測(cè)方法及裝置。

背景技術(shù)

人臉關(guān)鍵點(diǎn)檢測(cè)是計(jì)算機(jī)視覺領(lǐng)域一項(xiàng)重要的任務(wù)，其目的是獲取如唇角、眼角和鼻尖等面部關(guān)鍵點(diǎn)在圖片或視頻中的位置。人臉關(guān)鍵點(diǎn)檢測(cè)的過程是許多下游任務(wù)的關(guān)鍵步驟，在人臉識(shí)別和人臉年齡估計(jì)等任務(wù)中都起到重要作用。由于應(yīng)用場(chǎng)景廣泛，人臉關(guān)鍵點(diǎn)檢測(cè)涉及一些困難場(chǎng)景，如面部遮擋和光線變化。這對(duì)識(shí)別方法的準(zhǔn)確率和魯棒性提出了更高的要求。

目前的人臉關(guān)鍵點(diǎn)檢測(cè)方法主要分為兩類，一類主要利用坐標(biāo)回歸方法，這種方法會(huì)使得人臉的細(xì)節(jié)結(jié)構(gòu)有所損失；另一類主要使用熱圖回歸方法，保留面部細(xì)節(jié)信息。但熱圖回歸方法在遮擋和光線干擾等場(chǎng)景下，抗干擾能力差，檢測(cè)誤差較高。

發(fā)明內(nèi)容

本發(fā)明提供一種基于先驗(yàn)約束的人臉關(guān)鍵點(diǎn)檢測(cè)方法及裝置，用以解決現(xiàn)有技術(shù)中使得人臉的細(xì)節(jié)結(jié)構(gòu)有所損失，且在遮擋場(chǎng)景和光線干擾場(chǎng)景下，抗干擾能力差，檢測(cè)準(zhǔn)確率較低的缺陷，實(shí)現(xiàn)提高對(duì)人臉關(guān)鍵點(diǎn)檢測(cè)的準(zhǔn)確率，抗干擾能力強(qiáng)，提升在困難場(chǎng)景下的魯棒性。

本發(fā)明提供一種人臉關(guān)鍵點(diǎn)檢測(cè)方法，所述人臉關(guān)鍵點(diǎn)檢測(cè)方法包括：

獲取待識(shí)別人臉圖像；

將所述待識(shí)別人臉圖像輸入至人臉關(guān)鍵點(diǎn)檢測(cè)模型中，得到所述人臉關(guān)鍵點(diǎn)檢測(cè)模型提取的自注意力特征，以及基于所述自注意力特征輸出的人臉關(guān)鍵點(diǎn)位置信息；

其中，所述人臉關(guān)鍵點(diǎn)檢測(cè)模型為基于人臉樣本圖像、人臉關(guān)鍵點(diǎn)位置樣本數(shù)據(jù)以及所述人臉樣本圖像的結(jié)構(gòu)先驗(yàn)特征進(jìn)行有監(jiān)督訓(xùn)練得到的，所述人臉樣本圖像的結(jié)構(gòu)先驗(yàn)特征為對(duì)所述人臉關(guān)鍵點(diǎn)位置樣本數(shù)據(jù)進(jìn)行結(jié)構(gòu)先驗(yàn)生成運(yùn)算得到的，所述人臉關(guān)鍵點(diǎn)位置樣本數(shù)據(jù)為所述人臉樣本圖像對(duì)應(yīng)的樣本標(biāo)簽。

在一些實(shí)施例中，所述人臉關(guān)鍵點(diǎn)檢測(cè)模型為基于如下步驟訓(xùn)練得到的：

獲取所述人臉樣本圖像和初始模型；

將所述人臉樣本圖像輸入至所述初始模型，由所述初始模型基于所述人臉樣本圖像提取自注意力特征，并基于所述自注意力特征進(jìn)行圖像識(shí)別，得到所述初始模型輸出的人臉關(guān)鍵點(diǎn)檢測(cè)結(jié)果；

基于所述自注意力特征和所述結(jié)構(gòu)先驗(yàn)特征的損失結(jié)果，以及所述人臉關(guān)鍵點(diǎn)檢測(cè)結(jié)果與所述人臉關(guān)鍵點(diǎn)位置樣本數(shù)據(jù)的損失結(jié)果，對(duì)所述初始模型進(jìn)行訓(xùn)練，得到所述人臉關(guān)鍵點(diǎn)檢測(cè)模型。

在一些實(shí)施例中，所述人臉樣本圖像的結(jié)構(gòu)先驗(yàn)特征為基于如下步驟得到的：

獲取所述人臉關(guān)鍵點(diǎn)位置樣本數(shù)據(jù)；

以所述人臉關(guān)鍵點(diǎn)位置樣本數(shù)據(jù)中的每一關(guān)鍵點(diǎn)為中心，基于高斯分布，將每一所述關(guān)鍵點(diǎn)的鄰域作為每一所述關(guān)鍵點(diǎn)的掩模；

基于多個(gè)所述關(guān)鍵點(diǎn)坐標(biāo)的掩模，確定所述結(jié)構(gòu)先驗(yàn)特征。

在一些實(shí)施例中，所述以所述人臉關(guān)鍵點(diǎn)位置樣本數(shù)據(jù)中的每一關(guān)鍵點(diǎn)為中心，基于高斯分布，將每一所述關(guān)鍵點(diǎn)的鄰域作為每一所述關(guān)鍵點(diǎn)的掩模，包括：

基于公式：