[發(fā)明專利]目標(biāo)對(duì)象融合方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210417932.0
• 申請(qǐng)日: 2022-04-20
• 公開(kāi)（公告）號(hào): CN114821717A
• 公開(kāi)（公告）日: 2022-07-29
• 發(fā)明（設(shè)計(jì)）人: 顏劍鋒
• 申請(qǐng)（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號(hào): G06V40/16
• 分類號(hào): G06V40/16;G06V10/774;G06T5/50
• 代理公司: 北京市通商律師事務(wù)所 11951
• 代理人: 姜瑩麗

本公開(kāi)提供一種目標(biāo)對(duì)象融合方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，涉及人工智能技術(shù)領(lǐng)域，具體涉及深度學(xué)習(xí)、圖像處理、計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域，可應(yīng)用于人臉識(shí)別等場(chǎng)景。具體實(shí)現(xiàn)方案包括：獲取第一圖像中的目標(biāo)對(duì)象的第一關(guān)鍵點(diǎn)、第一關(guān)鍵點(diǎn)的置信度、和第二圖像中的目標(biāo)對(duì)象的第二關(guān)鍵點(diǎn)；根據(jù)第一關(guān)鍵點(diǎn)中的第三關(guān)鍵點(diǎn)，將第一圖像與第三圖像對(duì)齊，得到對(duì)齊后的第四圖像，第三關(guān)鍵點(diǎn)的置信度滿足第一預(yù)設(shè)條件；根據(jù)第二關(guān)鍵點(diǎn)，將第二圖像與第三圖像對(duì)齊，得到對(duì)齊后的第五圖像；通過(guò)預(yù)設(shè)的融合模型將第四圖像中的目標(biāo)對(duì)象替換為第五圖像中的目標(biāo)對(duì)象，得到融合圖像。本公開(kāi)可以提升目標(biāo)對(duì)象圖像融合的效果。

技術(shù)領(lǐng)域

本公開(kāi)涉及人工智能技術(shù)領(lǐng)域，具體涉及深度學(xué)習(xí)、圖像處理、計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域，可應(yīng)用于人臉識(shí)別等場(chǎng)景，尤其涉及一種目標(biāo)對(duì)象融合方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

人臉融合技術(shù)是一種可以將目標(biāo)人臉圖像(如用戶1的人臉圖像)替換為其他人臉圖像(如用戶2的人臉圖像)的技術(shù)，該技術(shù)被廣泛應(yīng)用于廣告、或者影視作品、又或者娛樂(lè)節(jié)目等進(jìn)行人臉替換，以及人臉識(shí)別(face recognition)、表情識(shí)別(expressionrecognition)等場(chǎng)景中。

目前，人臉融合的主流實(shí)現(xiàn)方案中可以對(duì)包含目標(biāo)人臉的圖像和包含其他人臉的圖像進(jìn)行人臉關(guān)鍵點(diǎn)檢測(cè)，得到目標(biāo)人臉的人臉關(guān)鍵點(diǎn)和其他人臉的人臉關(guān)鍵點(diǎn)；然后可以根據(jù)目標(biāo)人臉的人臉關(guān)鍵點(diǎn)和其他人臉的人臉關(guān)鍵點(diǎn)，將目標(biāo)人臉替換為其他人臉。

發(fā)明內(nèi)容

本公開(kāi)提供了一種目標(biāo)對(duì)象融合方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，可以提升目標(biāo)對(duì)象圖像融合的效果。

根據(jù)本公開(kāi)的第一方面，提供了一種目標(biāo)對(duì)象融合方法，所述方法包括：獲取第一圖像中的目標(biāo)對(duì)象的第一關(guān)鍵點(diǎn)、第一關(guān)鍵點(diǎn)的置信度、和第二圖像中的目標(biāo)對(duì)象的第二關(guān)鍵點(diǎn)；根據(jù)第一關(guān)鍵點(diǎn)中的第三關(guān)鍵點(diǎn)，將第一圖像與第三圖像對(duì)齊，得到對(duì)齊后的第四圖像，第三關(guān)鍵點(diǎn)的置信度滿足第一預(yù)設(shè)條件；根據(jù)第二關(guān)鍵點(diǎn)，將第二圖像與第三圖像對(duì)齊，得到對(duì)齊后的第五圖像；通過(guò)預(yù)設(shè)的融合模型將第四圖像中的目標(biāo)對(duì)象替換為第五圖像中的目標(biāo)對(duì)象，得到融合圖像。

根據(jù)本公開(kāi)的第二方面，提供了一種目標(biāo)對(duì)象融合裝置，所述裝置包括：獲取單元，用于獲取第一圖像中的目標(biāo)對(duì)象的第一關(guān)鍵點(diǎn)、第一關(guān)鍵點(diǎn)的置信度、和第二圖像中的目標(biāo)對(duì)象的第二關(guān)鍵點(diǎn)。預(yù)處理單元，用于根據(jù)第一關(guān)鍵點(diǎn)中的第三關(guān)鍵點(diǎn)，將第一圖像與第三圖像對(duì)齊，得到對(duì)齊后的第四圖像，第三關(guān)鍵點(diǎn)的置信度滿足第一預(yù)設(shè)條件；根據(jù)第二關(guān)鍵點(diǎn)，將第二圖像與第三圖像對(duì)齊，得到對(duì)齊后的第五圖像。融合單元，用于通過(guò)預(yù)設(shè)的融合模型將第四圖像中的目標(biāo)對(duì)象替換為第五圖像中的目標(biāo)對(duì)象，得到融合圖像。

根據(jù)本公開(kāi)的第三方面，提供了一種目標(biāo)對(duì)象融合方法，所述方法包括：獲取第一圖像中的目標(biāo)對(duì)象的第一關(guān)鍵點(diǎn)、第二圖像中的目標(biāo)對(duì)象的第二關(guān)鍵點(diǎn)、和第二關(guān)鍵點(diǎn)的置信度；根據(jù)第一關(guān)鍵點(diǎn)，將第一圖像與第三圖像對(duì)齊，得到對(duì)齊后的第四圖像；根據(jù)第二關(guān)鍵點(diǎn)中的第四關(guān)鍵點(diǎn)，將第二圖像與第三圖像對(duì)齊，得到對(duì)齊后的第五圖像，第四關(guān)鍵點(diǎn)的置信度滿足第二預(yù)設(shè)條件；通過(guò)預(yù)設(shè)的融合模型將第四圖像中的目標(biāo)對(duì)象替換為第五圖像中的目標(biāo)對(duì)象，得到融合圖像。

根據(jù)本公開(kāi)的第四方面，提供了一種目標(biāo)對(duì)象融合裝置，所述裝置包括：獲取單元，用于獲取第一圖像中的目標(biāo)對(duì)象的第一關(guān)鍵點(diǎn)、第二圖像中的目標(biāo)對(duì)象的第二關(guān)鍵點(diǎn)、和第二關(guān)鍵點(diǎn)的置信度。預(yù)處理單元，用于根據(jù)第一關(guān)鍵點(diǎn)，將第一圖像與第三圖像對(duì)齊，得到對(duì)齊后的第四圖像；根據(jù)第二關(guān)鍵點(diǎn)中的第四關(guān)鍵點(diǎn)，將第二圖像與第三圖像對(duì)齊，得到對(duì)齊后的第五圖像，第四關(guān)鍵點(diǎn)的置信度滿足第二預(yù)設(shè)條件。融合單元，用于通過(guò)預(yù)設(shè)的融合模型將第四圖像中的目標(biāo)對(duì)象替換為第五圖像中的目標(biāo)對(duì)象，得到融合圖像。

根據(jù)本公開(kāi)的第五方面，提供了一種電子設(shè)備，包括：至少一個(gè)處理器；以及與所述至少一個(gè)處理器通信連接的存儲(chǔ)器；其中，所述存儲(chǔ)器存儲(chǔ)有可被所述至少一個(gè)處理器執(zhí)行的指令，所述指令被所述至少一個(gè)處理器執(zhí)行，以使所述至少一個(gè)處理器能夠執(zhí)行如第一方面或第三方面所述的方法。