[發明專利]人臉圖像合成方法和裝置

有效

• 申請號: 201710949855.2
• 申請日: 2017-10-12
• 公開（公告）號: CN107644455B
• 公開（公告）日: 2022-02-22
• 發明（設計）人: 馬里千;高端
• 申請（專利權）人: 北京曠視科技有限公司;北京邁格威科技有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T15/04;G06T15/50
• 代理公司: 北京超凡志成知識產權代理事務所(普通合伙) 11371
• 代理人: 宋南

1.一種人臉圖像合成方法，其特征在于，所述方法包括：

獲取參數化的人臉三維模型數據，所述參數化的人臉三維模型數據包括參數化的人頭三維模型數據、參數化的人臉表情模型數據、參數化的人頭材質模型數據和參數化的環境光照模型數據中的至少一種；

根據所述參數化的人臉三維模型數據對應的權重，對所述參數化的人臉三維模型數據進行處理，得到特征數據，所述特征數據包括人頭三維模型、人臉表情、人頭材質和環境光照中的至少一種，所述人頭三維模型用于表示人臉和頭發的形狀；

其中，所述參數化的人臉三維模型數據包括平均人臉三維模型數據和多個殘差人臉三維模型數據；所述平均人臉三維模型數據表示根據采集到的人臉三維模型數據得到的平均模型數據；

所述將所述參數化的人臉三維模型數據進行處理，得到特征數據的步驟，包括：

根據所述平均人臉三維模型數據、所述多個殘差人臉三維模型數據以及所述多個殘差人臉三維模型數據分別對應的權重，得到特征數據；

獲取渲染參數，并將所述渲染參數和所述特征數據通過渲染算法進行渲染合成，得到人臉圖像；其中，渲染參數包括人頭參數和虛擬攝像機參數。

2.根據權利要求1所述的人臉圖像合成方法，其特征在于，所述參數化的人臉三維模型數據是通過以下方法得到的：

采集多個人臉三維模型數據；

將所述多個人臉三維模型數據進行參數化，得到所述參數化的人臉三維模型數據。

3.根據權利要求1或2所述的人臉圖像合成方法，其特征在于，所述參數化的人頭三維模型數據包括平均人頭三維模型數據和多個殘差人頭三維模型數據，所述將所述參數化的人臉三維模型數據進行處理，得到特征數據，包括：

確定所述多個殘差人頭三維模型數據分別對應的第一權重值；

根據所述多個殘差人頭三維模型數據分別對應的所述第一權重值、所述多個殘差人頭三維模型數據和所述平均人頭三維模型數據，得到所述人頭三維模型。

4.根據權利要求1或2所述的人臉圖像合成方法，其特征在于，所述參數化的人臉表情模型數據包括平均人臉表情模型數據和多個殘差人臉表情模型數據，所述將所述參數化的人臉三維模型數據進行處理，得到特征數據，包括：

確定所述多個殘差人臉表情模型數據分別對應的第二權重值；

根據所述多個殘差人臉表情模型數據分別對應的所述第二權重值、所述多個殘差人臉表情模型數據和所述平均人臉表情模型數據，得到所述人臉表情。

5.根據權利要求1或2所述的人臉圖像合成方法，其特征在于，

所述人頭材質包括皮膚材質，所述參數化的人頭材質模型數據包括平均皮膚材質數據和多個殘差皮膚材質數據，所述將所述參數化的人臉三維模型數據進行處理，得到特征數據，包括：

確定所述多個殘差皮膚材質數據分別對應的第三權重值；

根據所述多個殘差皮膚材質數據分別對應的所述第三權重值、所述多個殘差皮膚材質數據以及所述平均皮膚材質數據，得到所述皮膚材質；

或者，

所述人頭材質包括毛發材質，所述參數化的人頭材質模型數據包括平均毛發材質數據和多個殘差毛發材質數據，所述將所述參數化的人臉三維模型數據進行處理，得到特征數據，包括：

確定所述多個殘差毛發材質數據分別對應的第四權重值；

根據所述多個殘差毛發材質數據分別對應的所述第四權重值、所述多個殘差毛發材質數據以及所述平均毛發材質數據，得到所述毛發材質。

6.根據權利要求1或2所述的人臉圖像合成方法，其特征在于，所述參數化的環境光照模型數據包括多個環境光照參數，所述多個環境光照參數為球面調和函數的參數，所述將所述參數化的人臉三維模型數據進行處理，得到特征數據，包括：

確定所述多個環境光照參數分別對應的第五權重值；

根據所述多個環境光照參數分別對應的所述第五權重值、所述多個環境光照參數和所述球面調和函數，得到所述環境光照。

7.根據權利要求1或2所述的人臉圖像合成方法，其特征在于，所述方法還包括：

從人臉圖像渲染算法庫中選取所述渲染算法。