[發(fā)明專利]圖像修復(fù)方法及裝置、電子設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110576846.X
• 申請日: 2021-05-26
• 公開（公告）號: CN113344807A
• 公開（公告）日: 2021-09-03
• 發(fā)明（設(shè)計）人: 劉睿;鄧瀚銘;黃洋逸;石曉宇;盧樂煒;孫文秀;王曉剛;代季峰;李鴻升
• 申請（專利權(quán)）人: 商湯集團(tuán)有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50;G06T7/11;G06T3/40;G06T9/00
• 代理公司: 北京派特恩知識產(chǎn)權(quán)代理有限公司 11270
• 代理人: 王花麗;張穎玲

1.一種圖像修復(fù)方法，其特征在于，所述方法包括：

獲取第一圖像；

將所述第一圖像分割為具有重疊區(qū)域的至少兩個像素塊；

對每一像素塊進(jìn)行維度轉(zhuǎn)換，得到每一所述像素塊的第一轉(zhuǎn)換特征；

對所述第一轉(zhuǎn)換特征進(jìn)行至少一次融合轉(zhuǎn)換處理，得到對所述第一轉(zhuǎn)換特征進(jìn)行修復(fù)后的第二轉(zhuǎn)換特征；

將所述第二轉(zhuǎn)換特征對應(yīng)的像素塊進(jìn)行合成，得到第二圖像。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述第一圖像分割為具有重疊區(qū)域的至少兩個像素塊，包括：

對所述第一圖像進(jìn)行特征提取，得到第一特征圖；

將所述第一特征圖，分割為具有重疊區(qū)域的所述至少兩個像素塊。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述將所述第一特征圖，分割為具有重疊區(qū)域的所述至少兩個像素塊，包括：

基于所述第一特征圖的尺寸，確定分割步長和分割尺寸；其中，所述分割步長小于所述分割尺寸；

按照所述分割步長，遍歷所述第一特征圖，將所述第一特征圖分割為滿足所述分割尺寸的至少兩個像素塊。

4.根據(jù)權(quán)利要求1至3任一項所述的方法，其特征在于，所述對每一像素塊進(jìn)行維度轉(zhuǎn)換，得到每一所述像素塊的第一轉(zhuǎn)換特征，包括：

對每一所述像素塊進(jìn)行線性轉(zhuǎn)換，得到降維像素塊；

采用第一預(yù)設(shè)數(shù)值，對所述降維像素塊進(jìn)行線性投影，得到所述第一轉(zhuǎn)換特征。

5.根據(jù)權(quán)利要求1至4任一項所述的方法，其特征在于，所述對所述第一轉(zhuǎn)換特征進(jìn)行至少一次融合轉(zhuǎn)換處理，得到對所述第一轉(zhuǎn)換特征進(jìn)行修復(fù)后的第二轉(zhuǎn)換特征，包括：

對所述第一轉(zhuǎn)換特征進(jìn)行第j次注意力融合處理，得到第一融合特征；其中，j＝1，2……M，M為預(yù)設(shè)的融合轉(zhuǎn)換處理的次數(shù)；

對所述第一融合特征進(jìn)行第j次前饋融合處理，得到所述第二轉(zhuǎn)換特征。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述對所述第一轉(zhuǎn)換特征進(jìn)行第j次注意力融合處理，得到第一融合特征，包括：

對所述第一轉(zhuǎn)換特征進(jìn)行正則化處理，得到第一正則化特征；

基于多頭注意力機(jī)制，對所述第一正則化特征進(jìn)行處理，得到第三轉(zhuǎn)換特征；

對所述第三轉(zhuǎn)換特征和所述第一轉(zhuǎn)換特征進(jìn)行融合，得到所述第一融合特征。

7.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述對所述第一融合特征進(jìn)行第j次前饋融合處理，得到所述第二轉(zhuǎn)換特征，包括：

對所述第一融合特征進(jìn)行正則化處理，得到第二正則化特征；

對所述第二正則化特征進(jìn)行前饋轉(zhuǎn)換，得到前饋轉(zhuǎn)換特征；

對所述前饋轉(zhuǎn)換特征和所述第一融合特征進(jìn)行融合，得到第二融合特征；

將所述第二融合特征確定為所述第二轉(zhuǎn)換特征。

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述對所述第二正則化特征進(jìn)行前饋轉(zhuǎn)換，得到前饋轉(zhuǎn)換特征，包括：

將所述第二正則化特征轉(zhuǎn)換為像素塊，得到至少兩個轉(zhuǎn)換像素塊；

基于每一轉(zhuǎn)換像素塊在所述第一圖像中的位置信息，對所述至少兩個轉(zhuǎn)換像素塊進(jìn)行合成，得到第二特征圖；

將所述第二特征圖，分割為具有重疊區(qū)域的至少兩個中間像素塊；

對每一中間像素塊進(jìn)行維度轉(zhuǎn)換，得到每一所述中間像素塊的前饋轉(zhuǎn)換特征。

9.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述將所述第二正則化特征轉(zhuǎn)換為像素塊，得到至少兩個轉(zhuǎn)換像素塊，包括：

對所述第二正則化特征進(jìn)行線性轉(zhuǎn)換，得到至少兩個升維特征；

采用第二預(yù)設(shè)數(shù)值，對每一升維特征進(jìn)行線性投影，得到所述至少兩個轉(zhuǎn)換像素塊；其中，所述第二預(yù)設(shè)數(shù)值與所述第一預(yù)設(shè)數(shù)值具有比例關(guān)系。