[發(fā)明專利]圖像處理方法、裝置、電子設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010608415.2
• 申請日: 2020-06-29
• 公開（公告）號: CN113936026A
• 公開（公告）日: 2022-01-14
• 發(fā)明（設(shè)計(jì)）人: 李虎
• 申請（專利權(quán)）人: 北京金山云網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號: G06T7/194
• 分類號: G06T7/194;G06T7/13;G06T7/50;G06T5/30;G06N3/08
• 代理公司: 北京柏杉松知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11413
• 代理人: 馬敬;丁蕓

本申請實(shí)施例提供了圖像處理方法、裝置、電子設(shè)備及存儲介質(zhì)，該方法包括：獲取待處理的可見光圖像及可見光圖像對應(yīng)的深度圖像；根據(jù)待處理目標(biāo)在可見光圖像中的位置區(qū)域，確定替換圖案的形狀及目標(biāo)替換區(qū)域；根據(jù)目標(biāo)替換區(qū)域及深度圖像，計(jì)算目標(biāo)替換區(qū)域各點(diǎn)的法向量分量；根據(jù)目標(biāo)替換區(qū)域各點(diǎn)的法向量分量，對替換圖案的形狀進(jìn)行調(diào)整，得到目標(biāo)圖案；將目標(biāo)圖案覆蓋到可見光圖像的目標(biāo)替換區(qū)域中。利用深度圖像中的深度信息，計(jì)算需要替換的目標(biāo)替換區(qū)域各點(diǎn)的法向量分量，并利用各點(diǎn)的法向量分量對替換圖案的表面進(jìn)行形變處理，考慮了三維場景中目標(biāo)的形狀，得到的目標(biāo)圖案更加接近真實(shí)的形狀，替換后的圖像效果更加真實(shí)。

技術(shù)領(lǐng)域

本申請涉及圖像處理技術(shù)領(lǐng)域，特別是涉及圖像處理方法、裝置、電子設(shè)備及存儲介質(zhì)。

背景技術(shù)

隨著計(jì)算機(jī)視覺技術(shù)的發(fā)展，特別是深度神經(jīng)網(wǎng)絡(luò)的出現(xiàn)，使得基于計(jì)算機(jī)的圖像內(nèi)指定目標(biāo)的自動替換成為可能。

對圖像內(nèi)指定目標(biāo)進(jìn)行替換，一種典型的場景是對圖像中的人體進(jìn)行虛擬換裝。現(xiàn)有技術(shù)中，利用深度神經(jīng)網(wǎng)絡(luò)識別出圖像中人體的位置及形狀，然后生成人體形狀的服裝，并覆蓋到人體對應(yīng)的位置，從而完成人體換裝。

但是采用上述方法，只是模擬了圖像二維平面內(nèi)服裝的形狀，導(dǎo)致圖像區(qū)域替換之后的圖像效果差。

發(fā)明內(nèi)容

本申請實(shí)施例的目的在于提供一種圖像處理方法、裝置、電子設(shè)備及存儲介質(zhì)，以實(shí)現(xiàn)提高圖像區(qū)域替換之后的圖像效果。具體技術(shù)方案如下：

第一方面，本申請實(shí)施例提供了一種圖像處理方法，所述方法包括：

獲取待處理的可見光圖像及所述可見光圖像對應(yīng)的深度圖像，其中，所述可見光圖像中包括待處理目標(biāo)；

根據(jù)所述待處理目標(biāo)在所述可見光圖像中的位置區(qū)域，確定替換圖案的形狀及目標(biāo)替換區(qū)域；

根據(jù)所述目標(biāo)替換區(qū)域及所述深度圖像，計(jì)算所述目標(biāo)替換區(qū)域各點(diǎn)的法向量分量，其中，每個所述點(diǎn)對應(yīng)一個或多個像素點(diǎn)；

根據(jù)所述目標(biāo)替換區(qū)域各點(diǎn)的法向量分量，對所述替換圖案的形狀進(jìn)行調(diào)整，得到目標(biāo)圖案；

將所述目標(biāo)圖案覆蓋到所述可見光圖像的所述目標(biāo)替換區(qū)域中。

在一種可能的實(shí)施方式中，所述根據(jù)所述待處理目標(biāo)在所述可見光圖像中的位置區(qū)域，確定替換圖案的形狀及目標(biāo)替換區(qū)域，包括：

根據(jù)所述可見光圖像的三分圖和所述可見光圖像，確定所述待處理目標(biāo)在所述可見光圖像中的位置區(qū)域，作為待處理目標(biāo)區(qū)域，其中，所述三分圖包括前景像素、背景像素以及不確定區(qū)域像素；

根據(jù)所述待處理目標(biāo)區(qū)域中的關(guān)鍵點(diǎn)，確定目標(biāo)替換區(qū)域及替換圖案的形狀。

在一種可能的實(shí)施方式中，所述根據(jù)所述可見光圖像的三分圖和所述可見光圖像，確定所述待處理目標(biāo)在所述可見光圖像中的位置區(qū)域，作為待處理目標(biāo)區(qū)域，包括：

對所述可見光圖像進(jìn)行前景像素及背景像素的分割，得到分割圖像，其中，所述待處理目標(biāo)對應(yīng)所述前景像素；

對所述分割圖像進(jìn)行邊緣檢測，確定所述前景像素的邊緣圖像區(qū)域；

在所述分割圖像中對所述邊緣圖像區(qū)域進(jìn)行膨脹操作，得到不確定區(qū)域像素；

將包括所述前景像素、所述背景像素以及所述不確定區(qū)域像素的三分圖及所述可見光圖像輸入到預(yù)先訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)中進(jìn)行分析，得到所述待處理目標(biāo)在所述可見光圖像中的位置區(qū)域，作為待處理目標(biāo)區(qū)域。

在一種可能的實(shí)施方式中，所述根據(jù)所述目標(biāo)替換區(qū)域及所述深度圖像，計(jì)算所述目標(biāo)替換區(qū)域各點(diǎn)的法向量分量，包括：

根據(jù)所述深度圖像，確定所述目標(biāo)替換區(qū)域中各點(diǎn)的深度信息；