[發(fā)明專利]圖像修復(fù)方法及裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110576846.X
• 申請(qǐng)日: 2021-05-26
• 公開（公告）號(hào): CN113344807A
• 公開（公告）日: 2021-09-03
• 發(fā)明（設(shè)計(jì)）人: 劉睿;鄧瀚銘;黃洋逸;石曉宇;盧樂煒;孫文秀;王曉剛;代季峰;李鴻升
• 申請(qǐng)（專利權(quán)）人: 商湯集團(tuán)有限公司
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00;G06T5/50;G06T7/11;G06T3/40;G06T9/00
• 代理公司: 北京派特恩知識(shí)產(chǎn)權(quán)代理有限公司 11270
• 代理人: 王花麗;張穎玲

本申請(qǐng)實(shí)施例提供一種圖像修復(fù)方法及裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，其中，獲取第一圖像；將所述第一圖像分割為具有重疊區(qū)域的至少兩個(gè)像素塊；對(duì)每一像素塊進(jìn)行維度轉(zhuǎn)換，得到每一所述像素塊的第一轉(zhuǎn)換特征；對(duì)所述第一轉(zhuǎn)換特征進(jìn)行至少一次融合轉(zhuǎn)換處理，得到對(duì)所述第一轉(zhuǎn)換特征進(jìn)行修復(fù)后的第二轉(zhuǎn)換特征；將所述第二轉(zhuǎn)換特征對(duì)應(yīng)的像素塊進(jìn)行合成，得到第二圖像。

技術(shù)領(lǐng)域

本申請(qǐng)實(shí)施例涉及圖像修復(fù)技術(shù)領(lǐng)域，涉及但不限于一種圖像修復(fù)方法及裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

視頻圖像修復(fù)可以將部分像素?fù)p壞的視頻修復(fù)生成出逼真的、自然的視頻。在相關(guān)技術(shù)中，在視覺任務(wù)中，出于計(jì)算量的考慮，通常將圖像特征硬分割為許多的小像素塊，并在多個(gè)小像素塊之間進(jìn)行建模，這樣，使得對(duì)圖像的修復(fù)效果較差。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提供一種圖像修復(fù)技術(shù)方案。

本申請(qǐng)實(shí)施例的技術(shù)方案是這樣實(shí)現(xiàn)的：

本申請(qǐng)實(shí)施例提供一種圖像修復(fù)方法，所述方法包括：獲取第一圖像；將所述第一圖像分割為具有重疊區(qū)域的至少兩個(gè)像素塊；對(duì)每一像素塊進(jìn)行維度轉(zhuǎn)換，得到每一所述像素塊的第一轉(zhuǎn)換特征；對(duì)所述第一轉(zhuǎn)換特征進(jìn)行至少一次融合轉(zhuǎn)換處理，得到對(duì)所述第一轉(zhuǎn)換特征進(jìn)行修復(fù)后的第二轉(zhuǎn)換特征，這樣第二轉(zhuǎn)換特征中具有更多的細(xì)節(jié)信息；將所述第二轉(zhuǎn)換特征對(duì)應(yīng)的像素塊進(jìn)行合成，得到第二圖像。如此，將第一圖像分割成有重疊區(qū)域的多個(gè)像素塊，將這些有重疊區(qū)域的多個(gè)像素塊組合成一個(gè)特征圖，使得第二轉(zhuǎn)換特征中具有細(xì)粒度特征，從而能夠提高對(duì)第一圖像進(jìn)行修復(fù)的效果。

在一些實(shí)施例中，所述將所述第一圖像分割為具有重疊區(qū)域的至少兩個(gè)像素塊，包括：對(duì)所述第一圖像進(jìn)行特征提取，得到第一特征圖；將所述第一特征圖，分割為具有重疊區(qū)域的所述至少兩個(gè)像素塊。如此，得到的多個(gè)像素塊之間有重疊區(qū)域，能夠關(guān)注到圖像中更細(xì)粒度的特征。

在一些實(shí)施例中，所述將所述第一特征圖，分割為具有重疊區(qū)域的所述至少兩個(gè)像素塊，包括：基于所述第一特征圖的尺寸，確定分割步長和分割尺寸；其中，所述分割步長小于所述分割尺寸；按照所述分割步長，遍歷所述第一特征圖，將所述第一特征圖分割為滿足所述分割尺寸的至少兩個(gè)像素塊。如此，采用分割步長小于分割尺寸的方式對(duì)第一特征圖進(jìn)行分割，使得到的像素塊能夠保留第一特征圖的細(xì)節(jié)信息。

在一些實(shí)施例中，所述對(duì)每一像素塊進(jìn)行維度轉(zhuǎn)換，得到每一所述像素塊的第一轉(zhuǎn)換特征，包括：對(duì)每一所述像素塊進(jìn)行線性轉(zhuǎn)換，得到降維像素塊；采用第一預(yù)設(shè)數(shù)值，對(duì)所述降維像素塊進(jìn)行線性投影，得到所述第一轉(zhuǎn)換特征。如此，將高維的像素塊進(jìn)行線性轉(zhuǎn)換，得到低維度的第一轉(zhuǎn)換特征，便于后續(xù)的處理，能夠降低后續(xù)處理的計(jì)算量。

在一些實(shí)施例中，所述對(duì)所述第一轉(zhuǎn)換特征進(jìn)行至少一次融合轉(zhuǎn)換處理，得到對(duì)所述第一轉(zhuǎn)換特征進(jìn)行修復(fù)后的第二轉(zhuǎn)換特征，包括：對(duì)所述第一轉(zhuǎn)換特征進(jìn)行第j次注意力融合處理，得到第一融合特征；其中，j＝1，2……M，M為預(yù)設(shè)的融合轉(zhuǎn)換處理的次數(shù)；對(duì)所述第一融合特征進(jìn)行第j次前饋融合處理，得到所述第二轉(zhuǎn)換特征。如此，通過對(duì)第一轉(zhuǎn)換特征進(jìn)行多次的融合轉(zhuǎn)換處理，能夠提高得到的第二轉(zhuǎn)換特征的精細(xì)度。

在一些實(shí)施例中，所述對(duì)所述第一轉(zhuǎn)換特征進(jìn)行第j次注意力融合處理，得到第一融合特征，包括：對(duì)所述第一轉(zhuǎn)換特征進(jìn)行正則化處理，得到第一正則化特征；基于多頭注意力機(jī)制，對(duì)所述第一正則化特征進(jìn)行處理，得到第三轉(zhuǎn)換特征；對(duì)所述第三轉(zhuǎn)換特征和所述第一轉(zhuǎn)換特征進(jìn)行融合，得到所述第一融合特征。如此，基于多頭注意力機(jī)制對(duì)正則化后的特征進(jìn)行處理，并對(duì)得到的第三轉(zhuǎn)換特征和第一轉(zhuǎn)換特征進(jìn)行融合，從而使得第一融合特征能夠包括第一圖像中更多的關(guān)鍵信息。