[發明專利]圖像處理方法、裝置和系統及存儲介質

有效

• 申請號: 201710390286.2
• 申請日: 2017-05-27
• 公開（公告）號: CN108961149B
• 公開（公告）日: 2022-01-07
• 發明（設計）人: 周而進;黃志翱;劉研繹
• 申請（專利權）人: 北京曠視科技有限公司;北京邁格威科技有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T17/00;G06T19/20
• 代理公司: 北京睿邦知識產權代理事務所(普通合伙) 11481
• 代理人: 徐丁峰;戴亞南

本發明的實施例提供了一種圖像處理方法、裝置和系統及存儲介質。該方法包括：獲取初始人臉圖像；基于初始人臉圖像進行三維重建，以獲得三維人頭模型；在三維人頭模型上預定義人臉關鍵點信息；對三維人頭模型進行變換；將經變換的三維人頭模型渲染為二維人臉圖像；以及根據經變換的三維人頭模型與二維人臉圖像之間的投影關系以及人臉關鍵點信息，確定二維人臉圖像中的二維人臉關鍵點并獲得二維人臉關鍵點的位置信息作為人臉關鍵點標注數據。利用上述方法、裝置和系統及存儲介質能夠非常簡單快速地生成大量的、各種不同場景下的人臉圖像及人臉關鍵標注數據。

技術領域

本發明涉及人工智能(AI)領域，更具體地涉及一種圖像處理方法、裝置和系統及存儲介質。

背景技術

人臉關鍵點定位在人臉識別、表情識別、姿態識別中都有重要的應用。目前主流的人臉關鍵點定位方法主要利用機器學習算法從人臉關鍵點標注數據中學習。當前的人臉關鍵點標注數據主要依賴于人工標注，即需要以人工方式標注獲得大量的、在不同場景下(例如各種不同姿態、光照、表情下)的人臉關鍵點標注數據。這種人工標注方式效率低、成本高。

發明內容

考慮到上述問題而提出了本發明。本發明提供了一種圖像處理方法、裝置和系統及存儲介質。

根據本發明一方面，提供了一種圖像處理方法。該方法包括：獲取初始人臉圖像；基于初始人臉圖像進行三維重建，以獲得三維人頭模型；在三維人頭模型上預定義人臉關鍵點信息；對三維人頭模型進行變換；將經變換的三維人頭模型渲染為二維人臉圖像；以及根據經變換的三維人頭模型與二維人臉圖像之間的投影關系以及人臉關鍵點信息，確定二維人臉圖像中的二維人臉關鍵點并獲得二維人臉關鍵點的位置信息作為人臉關鍵點標注數據。

示例性地，在將經變換的三維人頭模型渲染為二維人臉圖像之前，圖像處理方法還包括：在經變換的三維人頭模型上添加附加信息，其中，附加信息包括背景、頭發和光照中的一項或多項。

示例性地，在經變換的三維人頭模型上添加附加信息包括：在經變換的三維人頭模型上隨機添加附加信息。

示例性地，人臉關鍵點信息包括與人臉內部關鍵點相關的內部點信息，二維人臉關鍵點包括二維內部關鍵點。

示例性地，內部點信息包括三維人頭模型中的三維內部關鍵點的位置信息，根據經變換的三維人頭模型與二維人臉圖像之間的投影關系以及人臉關鍵點信息，確定二維人臉圖像中的二維人臉關鍵點并獲得二維人臉關鍵點的位置信息作為人臉關鍵點標注數據包括：根據投影關系以及三維內部關鍵點的位置信息，確定三維內部關鍵點在二維人臉圖像所在的成像平面中投影獲得的二維內部關鍵點并獲得二維內部關鍵點的位置信息。

示例性地，人臉關鍵點信息包括與人臉輪廓關鍵點相關的輪廓點信息，二維人臉關鍵點包括二維輪廓關鍵點。

示例性地，輪廓點信息包括三維人頭模型中的、可能成為人臉輪廓關鍵點的三維輪廓點集的位置信息，根據經變換的三維人頭模型與二維人臉圖像之間的投影關系以及人臉關鍵點信息，確定二維人臉圖像中的二維人臉關鍵點并獲得二維人臉關鍵點的位置信息作為人臉關鍵點標注數據包括：確定三維輪廓點集與三維人頭模型中的預定義的起點平面的交集為三維起點候選集；根據投影關系以及三維輪廓點集的位置信息，確定三維輪廓點集和三維起點候選集在二維人臉圖像所在的成像平面中投影獲得的二維輪廓點集和二維起點候選集及二維輪廓點集和二維起點候選集的位置；從二維起點候選集中選擇輪廓起點和輪廓終點；基于輪廓起點、輪廓終點和二維輪廓點集的外輪廓線確定人臉輪廓線；以及基于人臉輪廓線確定二維人臉圖像中的二維輪廓關鍵點并獲得二維輪廓關鍵點的位置信息。

示例性地，基于人臉輪廓線確定二維人臉圖像中的二維輪廓關鍵點并獲得二維輪廓關鍵點的位置信息包括：根據預定義的人臉部位剔除條件剔除人臉輪廓線中的、屬于特定人臉部位的點，以獲得新的人臉輪廓線；將新的人臉輪廓線等分；以及確定獲得的等分點為二維人臉圖像中的二維輪廓關鍵點并獲得二維輪廓關鍵點的位置信息。