[發(fā)明專利]人臉圖像處理方法、裝置、電子設(shè)備、存儲介質(zhì)及程序

在審

• 申請?zhí)枺?/td>: 202110982660.4
• 申請日: 2017-12-15
• 公開（公告）號: CN113688737A
• 公開（公告）日: 2021-11-23
• 發(fā)明（設(shè)計(jì)）人: 王權(quán);錢晨
• 申請（專利權(quán)）人: 北京市商湯科技開發(fā)有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/08
• 代理公司: 北京博思佳知識產(chǎn)權(quán)代理有限公司 11415
• 代理人: 靳玫

1.一種人臉圖像處理方法，其特征在于，包括：

將待處理人臉圖像輸入至神經(jīng)網(wǎng)絡(luò)中；

經(jīng)由所述神經(jīng)網(wǎng)絡(luò)提取所述待處理人臉圖像的包括至少一個(gè)三維不動關(guān)鍵點(diǎn)在內(nèi)的人臉關(guān)鍵點(diǎn)信息；

基于所述人臉關(guān)鍵點(diǎn)信息定位所述待處理人臉圖像中人臉的特定部位；其中，所述三維不動關(guān)鍵點(diǎn)為人臉在三維空間中具有特定部位的語義的點(diǎn)被投影在二維平面上的點(diǎn)，所述三維不動關(guān)鍵點(diǎn)在三維空間中的語義固定。

2.根據(jù)權(quán)利要求1至所述的人臉圖像處理方法，其特征在于，所述待處理人臉圖像中的人臉包括存在表情變化和/或臉部角度偏轉(zhuǎn)的人臉。

3.根據(jù)權(quán)利要求1所述的人臉圖像處理方法，其特征在于，所述神經(jīng)網(wǎng)絡(luò)提取出的人臉關(guān)鍵點(diǎn)信息包括：21-300個(gè)人臉關(guān)鍵點(diǎn)信息。

4.根據(jù)權(quán)利要求1所述的人臉圖像處理方法，其特征在于，所述人臉關(guān)鍵點(diǎn)信息包括：待處理人臉圖像中的位于未被遮擋位置處以及被遮擋位置處的人臉關(guān)鍵點(diǎn)信息。

5.根據(jù)權(quán)利有要求4所述的人臉圖像處理方法，其特征在于，所述位于被遮擋位置處的人臉關(guān)鍵點(diǎn)信息為待處理人臉圖像中的位于被遮擋位置處的基于透視方式獲得的人臉關(guān)鍵點(diǎn)信息。

6.根據(jù)權(quán)利要求1至5中任一項(xiàng)所述的人臉圖像處理方法，其特征在于，所述神經(jīng)網(wǎng)絡(luò)是利用標(biāo)注有：包括至少一個(gè)三維不動關(guān)鍵點(diǎn)在內(nèi)的人臉關(guān)鍵點(diǎn)標(biāo)注信息的人臉圖像樣本，訓(xùn)練而成的；所述人臉圖像樣本標(biāo)注有在人臉圖像樣本中的位于未被遮擋位置處和/或被遮擋位置處的人臉關(guān)鍵點(diǎn)標(biāo)注信息；所述位于被遮擋位置處的人臉關(guān)鍵點(diǎn)信息為待處理人臉圖像中的位于被遮擋位置處的基于透視方式獲得的人臉關(guān)鍵點(diǎn)信息。

7.根據(jù)權(quán)利要求1至5任一所述的人臉圖像處理方法，其特征在于，所述三維不動關(guān)鍵點(diǎn)包括：眼瞼中心關(guān)鍵點(diǎn)、鼻子下沿中心關(guān)鍵點(diǎn)、嘴唇唇峰關(guān)鍵點(diǎn)、嘴唇中心關(guān)鍵點(diǎn)以及下巴中心關(guān)鍵點(diǎn)中的至少一個(gè)；

在所述三維不動關(guān)鍵點(diǎn)包括所述眼瞼中心關(guān)鍵點(diǎn)的情況下，所述眼瞼中心關(guān)鍵點(diǎn)包括：左眼上眼瞼中心關(guān)鍵點(diǎn)、左眼下眼瞼中心關(guān)鍵點(diǎn)、右眼上眼瞼中心關(guān)鍵點(diǎn)以及右眼下眼瞼中心關(guān)鍵點(diǎn)中的至少一個(gè)；

在所述三維不動關(guān)鍵點(diǎn)包括所述嘴唇中心關(guān)鍵點(diǎn)的情況下，所述嘴唇中心關(guān)鍵點(diǎn)包括：上嘴唇上唇線中心關(guān)鍵點(diǎn)、上嘴唇下唇線中心關(guān)鍵點(diǎn)、下嘴唇上唇線中心關(guān)鍵點(diǎn)以及下嘴唇下唇線中心關(guān)鍵點(diǎn)中的至少一個(gè)；

在所述三維不動關(guān)鍵點(diǎn)包括所述嘴唇唇峰關(guān)鍵點(diǎn)的情況下，所述嘴唇唇峰關(guān)鍵點(diǎn)包括：嘴唇左唇峰關(guān)鍵點(diǎn)以及嘴唇右唇峰關(guān)鍵點(diǎn)中的至少一個(gè)。

8.一種用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法，其特征在于，所述方法包括：

獲取多個(gè)人臉圖像樣本；所述人臉圖像樣本標(biāo)注有：包括至少一個(gè)三維不動關(guān)鍵點(diǎn)在內(nèi)的人臉關(guān)鍵點(diǎn)標(biāo)注信息，所述三維不動關(guān)鍵點(diǎn)為人臉在三維空間中具有特定部位的語義的點(diǎn)被投影在二維平面上的點(diǎn)，所述三維不動關(guān)鍵點(diǎn)在三維空間中的語義固定；

利用所述多個(gè)人臉圖像樣本訓(xùn)練神經(jīng)網(wǎng)絡(luò)，訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)用于提取待處理人臉圖像的包括至少一個(gè)三維不動關(guān)鍵點(diǎn)在內(nèi)的人臉關(guān)鍵點(diǎn)信息，所述人臉關(guān)鍵點(diǎn)信息用于定位所述待處理人臉圖像中人臉的特定部位。

9.根據(jù)權(quán)利要求8所述的用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法，其特征在于，所述人臉圖像樣本的人臉關(guān)鍵點(diǎn)標(biāo)注信息包括：20-300個(gè)人臉關(guān)鍵點(diǎn)標(biāo)注信息。

10.根據(jù)權(quán)利要求8所述的用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法，其特征在于，所述方法在所述利用所述多個(gè)人臉圖像樣本訓(xùn)練神經(jīng)網(wǎng)絡(luò)之前，還包括：

確定人臉圖像樣本中的人臉至少一個(gè)部位的曲線控制點(diǎn)；

根據(jù)所述曲線控制點(diǎn)形成曲線；

確定所述曲線上作為人臉圖像樣本的三維不動關(guān)鍵點(diǎn)；

在人臉圖像樣本的三維不動關(guān)鍵點(diǎn)的至少一側(cè)，選取曲線上的點(diǎn)；

根據(jù)所述選取的點(diǎn)以及所述人臉圖像樣本的三維不動關(guān)鍵點(diǎn)形成人臉關(guān)鍵點(diǎn)標(biāo)注信息。