[發(fā)明專利]訓(xùn)練人臉圖像合成模型的方法和裝置

有效

• 申請?zhí)枺?/td>: 202010300269.7
• 申請日: 2020-04-16
• 公開（公告）號: CN111539903B
• 公開（公告）日: 2023-04-07
• 發(fā)明（設(shè)計(jì)）人: 希滕;張剛;溫圣召
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06V40/16;G06V10/82
• 代理公司: 北京英賽嘉華知識產(chǎn)權(quán)代理有限責(zé)任公司 11204
• 代理人: 王達(dá)佐;馬曉亞

本公開的實(shí)施例公開了訓(xùn)練人臉圖像合成模型的方法和裝置，涉及圖像處理領(lǐng)域。該方法包括：獲取包括身份特征提取網(wǎng)絡(luò)、待訓(xùn)練的紋理特征提取網(wǎng)絡(luò)和待訓(xùn)練的解碼器的待訓(xùn)練的人臉圖像合成模型；將樣本人臉圖像輸入至待訓(xùn)練的紋理特征提取網(wǎng)絡(luò)和身份特征提取網(wǎng)絡(luò)進(jìn)行特征提取；拼接樣本人臉圖像的紋理特征和身份特征得到拼接特征，基于待訓(xùn)練的解碼器對拼接特征解碼得到樣本人臉圖像對應(yīng)的合成人臉圖像；提取合成人臉圖像的身份特征，基于樣本人臉圖像的身份特征和對應(yīng)的合成人臉圖像的身份特征的差異確定人臉圖像合成誤差，基于人臉圖像合成誤差迭代調(diào)整待訓(xùn)練的紋理特征提取網(wǎng)絡(luò)和待訓(xùn)練的解碼器的參數(shù)。該方法能獲得性能良好的人臉圖像合成模型。

技術(shù)領(lǐng)域

本公開的實(shí)施例涉及計(jì)算機(jī)技術(shù)領(lǐng)域，具體涉及圖像處理技術(shù)領(lǐng)域，尤其涉及訓(xùn)練人臉圖像合成模型的方法和裝置。

背景技術(shù)

圖像合成是圖像處理領(lǐng)域的一項(xiàng)重要技術(shù)。在目前的圖像處理技術(shù)中，圖像合成一般是通過“摳圖”，將一幅圖像中的一部分內(nèi)容分割出來并粘貼至另一幅圖像中。

人臉圖像的合成可以靈活地應(yīng)用于創(chuàng)建虛擬角色，能夠豐富圖像和視頻類應(yīng)用的功能。針對人臉圖像的合成，由于摳圖技術(shù)需要繁瑣的人工操作，且摳圖獲得的人臉圖像的姿態(tài)、表情通常呈現(xiàn)不自然的狀態(tài)，合成的人臉圖像質(zhì)量較差。

發(fā)明內(nèi)容

本公開的實(shí)施例提出了訓(xùn)練人臉圖像合成模型的方法和裝置、電子設(shè)備和計(jì)算機(jī)可讀介質(zhì)。

第一方面，本公開的實(shí)施例提供了一種訓(xùn)練人臉圖像合成模型的方法，包括：獲取待訓(xùn)練的人臉圖像合成模型，待訓(xùn)練的人臉圖像合成模型包括身份特征提取網(wǎng)絡(luò)、待訓(xùn)練的紋理特征提取網(wǎng)絡(luò)以及待訓(xùn)練的解碼器，身份特征提取網(wǎng)絡(luò)基于人臉識別網(wǎng)絡(luò)構(gòu)建；將樣本人臉圖像分別輸入至待訓(xùn)練的紋理特征提取網(wǎng)絡(luò)和身份特征提取網(wǎng)絡(luò)，得到樣本人臉圖像的紋理特征和身份特征；對樣本人臉圖像的紋理特征和身份特征進(jìn)行拼接得到拼接特征，基于待訓(xùn)練的解碼器對拼接特征解碼，得到樣本人臉圖像對應(yīng)的合成人臉圖像；提取樣本人臉圖像對應(yīng)的合成人臉圖像的身份特征，基于樣本人臉圖像的身份特征和對應(yīng)的合成人臉圖像的身份特征之間的差異確定人臉圖像合成誤差，并基于人臉圖像合成誤差迭代調(diào)整待訓(xùn)練的紋理特征提取網(wǎng)絡(luò)和待訓(xùn)練的解碼器的參數(shù)。

第二方面，本公開的實(shí)施例提供了一種訓(xùn)練人臉圖像合成模型的裝置，包括：獲取單元，被配置為獲取待訓(xùn)練的人臉圖像合成模型，待訓(xùn)練的人臉圖像合成模型包括身份特征提取網(wǎng)絡(luò)、待訓(xùn)練的紋理特征提取網(wǎng)絡(luò)以及待訓(xùn)練的解碼器，身份特征提取網(wǎng)絡(luò)基于人臉識別網(wǎng)絡(luò)構(gòu)建；提取單元，被配置為將樣本人臉圖像分別輸入至待訓(xùn)練的紋理特征提取網(wǎng)絡(luò)和身份特征提取網(wǎng)絡(luò)，得到樣本人臉圖像的紋理特征和身份特征；解碼單元，被配置為對樣本人臉圖像的紋理特征和身份特征進(jìn)行拼接得到拼接特征，基于待訓(xùn)練的解碼器對拼接特征解碼，得到樣本人臉圖像對應(yīng)的合成人臉圖像；誤差反向傳播單元，被配置為提取樣本人臉圖像對應(yīng)的合成人臉圖像的身份特征，基于樣本人臉圖像的身份特征和對應(yīng)的合成人臉圖像的身份特征之間的差異確定人臉圖像合成誤差，并基于人臉圖像合成誤差迭代調(diào)整待訓(xùn)練的紋理特征提取網(wǎng)絡(luò)和待訓(xùn)練的解碼器的參數(shù)。

第三方面，本公開的實(shí)施例提供了一種電子設(shè)備，包括：一個或多個處理器；存儲裝置，用于存儲一個或多個程序，當(dāng)一個或多個程序被一個或多個處理器執(zhí)行，使得一個或多個處理器實(shí)現(xiàn)如第一方面提供的訓(xùn)練人臉圖像合成模型的方法。

第四方面，本公開的實(shí)施例提供了一種計(jì)算機(jī)可讀介質(zhì)，其上存儲有計(jì)算機(jī)程序，其中，程序被處理器執(zhí)行時實(shí)現(xiàn)第一方面提供的訓(xùn)練人臉圖像合成模型的方法。