[發明專利]圖像處理方法、裝置和系統及存儲介質

有效

• 申請號: 201710390286.2
• 申請日: 2017-05-27
• 公開（公告）號: CN108961149B
• 公開（公告）日: 2022-01-07
• 發明（設計）人: 周而進;黃志翱;劉研繹
• 申請（專利權）人: 北京曠視科技有限公司;北京邁格威科技有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T17/00;G06T19/20
• 代理公司: 北京睿邦知識產權代理事務所(普通合伙) 11481
• 代理人: 徐丁峰;戴亞南

1.一種圖像處理方法，包括：

獲取初始人臉圖像；

基于所述初始人臉圖像進行三維重建，以獲得三維人頭模型，其中，所述三維人頭模型包括網格模型和紋理模型；

在所述三維人頭模型上預定義人臉關鍵點信息；

對所述三維人頭模型進行變換；

將經變換的三維人頭模型渲染為二維人臉圖像；以及

根據所述經變換的三維人頭模型與所述二維人臉圖像之間的投影關系以及所述人臉關鍵點信息，確定所述二維人臉圖像中的二維人臉關鍵點并獲得所述二維人臉關鍵點的位置信息作為人臉關鍵點標注數據；

其中，所述對所述三維人頭模型進行變換包括：

對所述三維人頭模型進行剛體變換；和/或

對所述三維人頭模型進行非剛體變換。

2.如權利要求1所述的圖像處理方法，其中，在所述將經變換的三維人頭模型渲染為二維人臉圖像之前，所述圖像處理方法還包括：

在所述經變換的三維人頭模型上添加附加信息，其中，所述附加信息包括背景、頭發和光照中的一項或多項。

3.如權利要求2所述的圖像處理方法，其中，所述在所述經變換的三維人頭模型上添加附加信息包括：

在所述經變換的三維人頭模型上隨機添加所述附加信息。

4.如權利要求1所述的圖像處理方法，其中，所述人臉關鍵點信息包括與人臉內部關鍵點相關的內部點信息，所述二維人臉關鍵點包括二維內部關鍵點。

5.如權利要求4所述的圖像處理方法，其中，所述內部點信息包括所述三維人頭模型中的三維內部關鍵點的位置信息，

所述根據所述經變換的三維人頭模型與所述二維人臉圖像之間的投影關系以及所述人臉關鍵點信息，確定所述二維人臉圖像中的二維人臉關鍵點并獲得所述二維人臉關鍵點的位置信息作為人臉關鍵點標注數據包括：

根據所述投影關系以及所述三維內部關鍵點的位置信息，確定所述三維內部關鍵點在所述二維人臉圖像所在的成像平面中投影獲得的二維內部關鍵點并獲得所述二維內部關鍵點的位置信息。

6.如權利要求1至5任一項所述的圖像處理方法，其中，所述人臉關鍵點信息包括與人臉輪廓關鍵點相關的輪廓點信息，所述二維人臉關鍵點包括二維輪廓關鍵點。

7.如權利要求6所述的圖像處理方法，其中，所述輪廓點信息包括所述三維人頭模型中的、可能成為人臉輪廓關鍵點的三維輪廓點集的位置信息，

所述根據所述經變換的三維人頭模型與所述二維人臉圖像之間的投影關系以及所述人臉關鍵點信息，確定所述二維人臉圖像中的二維人臉關鍵點并獲得所述二維人臉關鍵點的位置信息作為人臉關鍵點標注數據包括：

確定所述三維輪廓點集與所述三維人頭模型中的預定義的起點平面的交集為三維起點候選集；

根據所述投影關系以及所述三維輪廓點集的位置信息，確定所述三維輪廓點集和所述三維起點候選集在所述二維人臉圖像所在的成像平面中投影獲得的二維輪廓點集和二維起點候選集及所述二維輪廓點集和所述二維起點候選集的位置；

從所述二維起點候選集中選擇輪廓起點和輪廓終點；

基于所述輪廓起點、所述輪廓終點和所述二維輪廓點集的外輪廓線確定人臉輪廓線；以及

基于所述人臉輪廓線確定所述二維人臉圖像中的二維輪廓關鍵點并獲得所述二維輪廓關鍵點的位置信息。

8.如權利要求7所述的圖像處理方法，其中，所述基于所述人臉輪廓線確定所述二維人臉圖像中的二維輪廓關鍵點并獲得所述二維輪廓關鍵點的位置信息包括：

根據預定義的人臉部位剔除條件剔除所述人臉輪廓線中的、屬于特定人臉部位的點，以獲得新的人臉輪廓線；

將所述新的人臉輪廓線等分；以及

確定獲得的等分點為所述二維人臉圖像中的二維輪廓關鍵點并獲得所述二維輪廓關鍵點的位置信息。