[發(fā)明專利]用于生成圖像的方法和裝置有效
| 申請?zhí)枺?/td> | 201910798510.0 | 申請日: | 2019-08-27 |
| 公開(公告)號: | CN110503703B | 公開(公告)日: | 2023-10-13 |
| 發(fā)明(設計)人: | 胡天舒;康洋;洪智濱;韓鈞宇;劉經(jīng)拓 | 申請(專利權)人: | 北京百度網(wǎng)訊科技有限公司 |
| 主分類號: | G06T11/60 | 分類號: | G06T11/60;G06V40/16;G06V10/82;G06V10/75;G06N3/0455 |
| 代理公司: | 北京英賽嘉華知識產(chǎn)權代理有限責任公司 11204 | 代理人: | 王達佐;馬曉亞 |
| 地址: | 100085 北京市*** | 國省代碼: | 北京;11 |
| 權利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關鍵詞: | 用于 生成 圖像 方法 裝置 | ||
1.一種用于生成圖像的方法,包括:
獲取底版圖像和目標人臉圖像,其中,所述底版圖像包括待替換人臉圖像和背景;
將所述目標人臉圖像輸入至預先訓練的圖像生成模型,生成匹配人臉圖像,其中,所述圖像生成模型包括編碼網(wǎng)絡、隱層網(wǎng)絡和解碼網(wǎng)絡,所述匹配人臉圖像用于表征待替換人臉圖像所顯示的面部姿態(tài)與所述目標人臉圖像所顯示的面部姿態(tài)一致;
基于所述匹配人臉圖像對所述待替換人臉圖像的替換,生成準目標圖像;
基于對所述準目標圖像的融合處理,生成目標圖像,其中,所述目標圖像包括與所述匹配人臉圖像相一致的人臉圖像和與所述底版圖像相一致的背景。
2.根據(jù)權利要求1所述的方法,其中,所述隱層網(wǎng)絡包括第一隱層網(wǎng)絡和第二隱層網(wǎng)絡,所述圖像生成模型包括第一圖像生成子模型和第二圖像生成子模型,所述第一圖像生成子模型包括所述編碼網(wǎng)絡、所述第一隱層網(wǎng)絡、所述第二隱層網(wǎng)絡和所述解碼網(wǎng)絡,所述第二圖像生成子模型包括所述編碼網(wǎng)絡、所述解碼網(wǎng)絡和目標隱層網(wǎng)絡,所述目標隱層網(wǎng)絡為所述第一隱層網(wǎng)絡和所述第二隱層網(wǎng)絡之一。
3.根據(jù)權利要求2所述的方法,其中,所述圖像生成模型通過如下步驟訓練得到:
獲取樣本第一人臉圖像集合和樣本第二人臉圖像集合;
將所述樣本第一人臉圖像集合和所述樣本第二人臉圖像集合進行圖像預處理變換,生成樣本第一預處理人臉圖像集合和樣本第二預處理人臉圖像集合;
將樣本第一預處理人臉圖像和樣本第二預處理人臉圖像分別作為所述第一圖像生成子模型和所述第二圖像生成子模型的輸入,將與輸入對應的樣本第一人臉圖像和樣本第二人臉圖像分別作為所述第一圖像生成子模型和所述第二圖像生成子模型的期望輸出,訓練得到所述圖像生成模型。
4.根據(jù)權利要求1所述的方法,其中,所述基于所述匹配人臉圖像對所述待替換人臉圖像的替換,生成準目標圖像,包括:
將所述匹配人臉圖像與所述待替換人臉圖像進行人臉對齊;
基于對齊后的匹配人臉圖像和待替換人臉圖像進行三角剖分;
根據(jù)三角剖分所劃分的三角形區(qū)域在所述對齊后的匹配人臉圖像和待替換人臉圖像中的對應關系進行替換,生成所述準目標圖像。
5.根據(jù)權利要求1所述的方法,其中,所述基于對所述準目標圖像的融合處理,生成目標圖像,包括:
從所述準目標圖像中提取人臉圖像的輪廓;
根據(jù)所述人臉圖像的輪廓,生成掩膜;
根據(jù)所述掩膜和所述準目標圖像,生成所述人臉圖像的顏色分布信息;
根據(jù)所述顏色分布信息對所述人臉圖像進行渲染,生成所述目標圖像。
6.根據(jù)權利要求1-5之一所述的方法,其中,所述獲取底版圖像和目標人臉圖像,包括:
獲取針對第一用戶拍攝的第一視頻和針對第二用戶拍攝的第二視頻;
從所述第一視頻中提取包括第一用戶的人臉圖像的視頻幀作為所述底版圖像;
從所述第二視頻中提取包括第二用戶的人臉圖像的視頻幀;
從所述包括第二用戶的人臉圖像的視頻幀中提取所述第二用戶的人臉圖像作為所述目標人臉圖像;以及
在所述基于對所述準目標圖像的融合處理,生成目標圖像之后,所述方法還包括:
基于所述目標圖像,生成目標視頻,其中,所述目標視頻中顯示的第二用戶的面部姿態(tài)與所述第一視頻中顯示的第一用戶的面部姿態(tài)相匹配。
7.一種用于生成圖像的裝置,包括:
獲取單元,被配置成獲取底版圖像和目標人臉圖像,其中,所述底版圖像包括待替換人臉圖像和背景;
第一生成單元,被配置成將所述目標人臉圖像輸入至預先訓練的圖像生成模型,生成匹配人臉圖像,其中,所述圖像生成模型包括編碼網(wǎng)絡、隱層網(wǎng)絡和解碼網(wǎng)絡,所述匹配人臉圖像用于表征待替換人臉圖像所顯示的面部姿態(tài)與所述目標人臉圖像所顯示的面部姿態(tài)一致;
第二生成單元,被配置成基于所述匹配人臉圖像對所述待替換人臉圖像的替換,生成準目標圖像;
第三生成單元,被配置成基于對所述準目標圖像的融合處理,生成目標圖像,其中,所述目標圖像包括與所述匹配人臉圖像相一致的人臉圖像和與所述底版圖像相一致的背景。
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于北京百度網(wǎng)訊科技有限公司,未經(jīng)北京百度網(wǎng)訊科技有限公司許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業(yè)授權和技術合作,請聯(lián)系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/201910798510.0/1.html,轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
- 彩色圖像和單色圖像的圖像處理
- 圖像編碼/圖像解碼方法以及圖像編碼/圖像解碼裝置
- 圖像處理裝置、圖像形成裝置、圖像讀取裝置、圖像處理方法
- 圖像解密方法、圖像加密方法、圖像解密裝置、圖像加密裝置、圖像解密程序以及圖像加密程序
- 圖像解密方法、圖像加密方法、圖像解密裝置、圖像加密裝置、圖像解密程序以及圖像加密程序
- 圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置、圖像編碼程序以及圖像解碼程序
- 圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置、圖像編碼程序、以及圖像解碼程序
- 圖像形成設備、圖像形成系統(tǒng)和圖像形成方法
- 圖像編碼裝置、圖像編碼方法、圖像編碼程序、圖像解碼裝置、圖像解碼方法及圖像解碼程序
- 圖像編碼裝置、圖像編碼方法、圖像編碼程序、圖像解碼裝置、圖像解碼方法及圖像解碼程序





