[發(fā)明專利]圖像處理方法及裝置、電子設(shè)備和存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201910385228.X
• 申請(qǐng)日: 2019-05-09
• 公開（公告）號(hào): CN110084775B
• 公開（公告）日: 2021-11-26
• 發(fā)明（設(shè)計(jì)）人: 任思捷;王州霞;張佳維
• 申請(qǐng)（專利權(quán)）人: 深圳市商湯科技有限公司
• 主分類號(hào): G06T5/50
• 分類號(hào): G06T5/50;G06T5/00;G06T3/40
• 代理公司: 北京林達(dá)劉知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11277
• 代理人: 劉新宇

本公開涉及一種圖像處理方法及裝置、電子設(shè)備和存儲(chǔ)介質(zhì)，所述方法包括：獲取第一圖像；獲取所述第一圖像的至少一個(gè)引導(dǎo)圖像，所述引導(dǎo)圖像包括所述第一圖像中的目標(biāo)對(duì)象的引導(dǎo)信息；基于所述第一圖像的至少一個(gè)引導(dǎo)圖像對(duì)所述第一圖像進(jìn)行引導(dǎo)重構(gòu)，得到重構(gòu)圖像。本公開實(shí)施例可以提高重構(gòu)圖像的清晰度。

技術(shù)領(lǐng)域

本公開涉及計(jì)算機(jī)視覺技術(shù)領(lǐng)域，尤其涉及一種圖像處理方法及裝置、電子設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)

相關(guān)技術(shù)中，由于拍攝環(huán)境或者攝像設(shè)備的配置等因素，獲取的圖像中會(huì)存在質(zhì)量較低的情況，通過這些圖像很難實(shí)現(xiàn)人臉檢測(cè)或者其他類型的目標(biāo)檢測(cè)，通常可以通過一些模型或者算法來重建這些圖像。大部分重建較低像素的圖像的方法很少考慮圖像嚴(yán)重退化的影響，一旦有噪聲和模糊混入，原有的模型就不適用。而且退化變得很嚴(yán)重時(shí)，即使加入噪聲和模糊重新訓(xùn)練模型，依然難以恢復(fù)出清晰圖像。

發(fā)明內(nèi)容

本公開提出了一種圖像處理的技術(shù)方案。

根據(jù)本公開的一方面，提供了一種圖像處理方法，其包括：獲取第一圖像；獲取所述第一圖像的至少一個(gè)引導(dǎo)圖像，所述引導(dǎo)圖像包括所述第一圖像中的目標(biāo)對(duì)象的引導(dǎo)信息；基于所述第一圖像的至少一個(gè)引導(dǎo)圖像對(duì)所述第一圖像進(jìn)行引導(dǎo)重構(gòu)，得到重構(gòu)圖像。基于上述配置，可以實(shí)現(xiàn)通過引導(dǎo)圖像執(zhí)行第一圖像的重構(gòu)，即使第一圖像為退化嚴(yán)重的情況，由于引導(dǎo)圖像的融合，也能重建出清晰的重構(gòu)圖像，具有更好的重構(gòu)效果。

在一些可能的實(shí)施方式中，所述獲取所述第一圖像的至少一個(gè)引導(dǎo)圖像，包括：獲取所述第一圖像的描述信息；基于所述第一圖像的描述信息確定與所述目標(biāo)對(duì)象的至少一個(gè)目標(biāo)部位匹配的引導(dǎo)圖像。基于上述配置，可以根據(jù)不同的描述信息得到不同目標(biāo)部位引導(dǎo)圖像，而且基于描述信息可以提供更為精確的引導(dǎo)圖像。

在一些可能的實(shí)施方式中，所述基于所述第一圖像的至少一個(gè)引導(dǎo)圖像對(duì)所述第一圖像進(jìn)行引導(dǎo)重構(gòu)，得到重構(gòu)圖像，包括：利用所述第一圖像中所述目標(biāo)對(duì)象的當(dāng)前姿態(tài)，對(duì)所述至少一個(gè)引導(dǎo)圖像執(zhí)行仿射變換，得到所述當(dāng)前姿態(tài)下與所述引導(dǎo)圖像對(duì)應(yīng)的仿射圖像；基于所述至少一個(gè)引導(dǎo)圖像中與所述目標(biāo)對(duì)象匹配的至少一個(gè)目標(biāo)部位，從所述引導(dǎo)圖像對(duì)應(yīng)的仿射圖像中提取所述至少一個(gè)目標(biāo)部位的子圖像；基于提取的所述子圖像和所述第一圖像得到所述重構(gòu)圖像。基于上述配置，可以根據(jù)第一圖像中目標(biāo)對(duì)象的姿態(tài)調(diào)整引導(dǎo)圖像中對(duì)象的姿態(tài)，從而使得引導(dǎo)圖像內(nèi)與目標(biāo)對(duì)象匹配的部位可以調(diào)整成目標(biāo)對(duì)象的姿態(tài)形式，在執(zhí)行重構(gòu)時(shí)，能夠提高重構(gòu)精度。

在一些可能的實(shí)施方式中，所述基于提取的所述子圖像和所述第一圖像得到所述重構(gòu)圖像，包括：利用提取的所述子圖像替換所述第一圖像中與所述子圖像中目標(biāo)部位對(duì)應(yīng)的部位，得到所述重構(gòu)圖像，或者對(duì)所述子圖像和所述第一圖像進(jìn)行卷積處理，得到所述重構(gòu)圖像。基于上述配置，可以提供不同方式的重構(gòu)手段，具有重構(gòu)方便且精度高的特點(diǎn)。

在一些可能的實(shí)施方式中，所述基于所述第一圖像的至少一個(gè)引導(dǎo)圖像對(duì)所述第一圖像進(jìn)行引導(dǎo)重構(gòu)，得到重構(gòu)圖像，包括：對(duì)所述第一圖像執(zhí)行超分圖像重建處理，得到第二圖像，所述第二圖像的分辨率高于所述第一圖像的分辨率；利用所述第二圖像中所述目標(biāo)對(duì)象的當(dāng)前姿態(tài)，對(duì)所述至少一個(gè)引導(dǎo)圖像執(zhí)行仿射變換，得到所述當(dāng)前姿態(tài)下與所述引導(dǎo)圖像對(duì)應(yīng)的仿射圖像；基于所述至少一個(gè)引導(dǎo)圖像中與所述對(duì)象匹配的至少一個(gè)目標(biāo)部位，從所述引導(dǎo)圖像對(duì)應(yīng)的仿射圖像中提取所述至少一個(gè)目標(biāo)部位的子圖像；基于提取的所述子圖像和所述第二圖像得到所述重構(gòu)圖像。基于上述配置，可以通過超分重建處理提高第一圖像的清晰度，得到第二圖像，再根據(jù)第二圖像執(zhí)行引導(dǎo)圖像的仿射變化，由于第二圖像的分辨率高于第一圖像，在執(zhí)行仿射變換以及后續(xù)的重構(gòu)處理時(shí)，可以進(jìn)一步提高重構(gòu)圖像的精度。

在一些可能的實(shí)施方式中，所述基于提取的所述子圖像和所述第二圖像得到所述重構(gòu)圖像，包括：利用提取的所述子圖像替換所述第二圖像中與所述子圖像中目標(biāo)部位對(duì)應(yīng)的部位，得到所述重構(gòu)圖像，或者基于所述子圖像和所述第二圖像進(jìn)行卷積處理，得到所述重構(gòu)圖像。基于上述配置，可以提供不同方式的重構(gòu)手段，具有重構(gòu)方便且精度高的特點(diǎn)。