[發(fā)明專利]一種圖像修復(fù)方法、裝置及電子設(shè)備

在審

• 申請?zhí)枺?/td>: 202210514088.3
• 申請日: 2022-05-12
• 公開（公告）號: CN114841886A
• 公開（公告）日: 2022-08-02
• 發(fā)明（設(shè)計）人: 陶英杰
• 申請（專利權(quán)）人: 中國銀行股份有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50;G06V20/70
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 丁曼曼

1.一種圖像修復(fù)方法，其特征在于，包括：

獲取待修復(fù)的目標(biāo)圖像以及所述目標(biāo)圖像的掩碼信息；

對所述目標(biāo)圖像以及所述掩碼信息進(jìn)行部分卷積操作，得到初始圖像特征圖和初始掩碼信息；

獲取具有不同卷積屬性的多個多尺度修復(fù)模塊構(gòu)建得到的粗糙圖像修復(fù)網(wǎng)絡(luò)模型；所述多尺度修復(fù)模塊由兩條具有不同卷積屬性的并行卷積支路構(gòu)成；

調(diào)用所述粗糙圖像修復(fù)網(wǎng)絡(luò)模型，對所述初始圖像特征圖和初始掩碼信息分別進(jìn)行處理，得到所述初始圖像特征圖對應(yīng)的中間圖像特征圖和所述初始掩碼信息對應(yīng)的中間掩碼信息，并對所述中間圖像特征圖和所述中間掩碼信息進(jìn)行遞歸計算，得到粗糙修復(fù)特征圖和粗糙修復(fù)掩碼信息；

獲取用于對圖像進(jìn)行細(xì)節(jié)修復(fù)的細(xì)節(jié)圖像修復(fù)網(wǎng)絡(luò)模型；

連續(xù)多次調(diào)用所述細(xì)節(jié)圖像修復(fù)網(wǎng)絡(luò)模型對所述粗糙修復(fù)特征圖、所述粗糙修復(fù)掩碼信息、所述初始圖像特征圖和所述初始掩碼信息進(jìn)行處理，得到所述目標(biāo)圖像的多個細(xì)節(jié)修復(fù)結(jié)果，并對所述多個細(xì)節(jié)修復(fù)結(jié)果進(jìn)行合并處理，得到所述目標(biāo)圖像對應(yīng)的修復(fù)圖像。

2.根據(jù)權(quán)利要求1所述的圖像修復(fù)方法，其特征在于，調(diào)用所述粗糙圖像修復(fù)網(wǎng)絡(luò)模型，對所述初始圖像特征圖和初始掩碼信息分別進(jìn)行處理，得到所述初始圖像特征圖對應(yīng)的中間圖像特征圖和所述初始掩碼信息對應(yīng)的中間掩碼信息，并對所述中間圖像特征圖和所述中間掩碼信息進(jìn)行遞歸計算，得到粗糙修復(fù)特征圖和粗糙修復(fù)掩碼信息，包括：

調(diào)用所述粗糙圖像修復(fù)網(wǎng)絡(luò)模型，以使所述粗糙圖像修復(fù)網(wǎng)絡(luò)模型中的多尺度修復(fù)模塊的并行卷積支路，分別對所述初始圖像特征圖進(jìn)行處理，得到第一圖像特征圖和第二圖像特征圖，以及分別對所述初始掩碼信息進(jìn)行處理，得到第一掩碼和第二掩碼；

基于所述第一掩碼和所述第二掩碼，計算掩碼結(jié)果，并將所述掩碼結(jié)果的平均值，作為所述初始掩碼信息對應(yīng)的中間掩碼信息；

基于所述掩碼結(jié)果、所述第一圖像特征圖和所述第二圖像特征圖，計算圖像處理結(jié)果，并將所述圖像處理結(jié)果的平均值，作為所述初始圖像特征圖對應(yīng)的中間圖像特征圖；

對所述中間圖像特征圖和所述中間掩碼信息進(jìn)行遞歸計算，得到粗糙修復(fù)特征圖和粗糙修復(fù)掩碼信息。

3.根據(jù)權(quán)利要求1所述的圖像修復(fù)方法，其特征在于，連續(xù)多次調(diào)用所述細(xì)節(jié)圖像修復(fù)網(wǎng)絡(luò)模型對所述粗糙修復(fù)特征圖、所述粗糙修復(fù)掩碼信息、所述初始圖像特征圖和所述初始掩碼信息進(jìn)行處理，得到所述目標(biāo)圖像的多個細(xì)節(jié)修復(fù)結(jié)果，并對所述多個細(xì)節(jié)修復(fù)結(jié)果進(jìn)行合并處理，得到所述目標(biāo)圖像對應(yīng)的修復(fù)圖像，包括：

調(diào)用所述細(xì)節(jié)圖像修復(fù)網(wǎng)絡(luò)模型對所述粗糙修復(fù)特征圖、所述粗糙修復(fù)掩碼信息、所述初始圖像特征圖和所述初始掩碼信息進(jìn)行處理，得到細(xì)節(jié)修復(fù)結(jié)果，所述細(xì)節(jié)修復(fù)結(jié)果包括部分修復(fù)圖像的掩碼信息；

基于所述部分修復(fù)圖像更新所述目標(biāo)圖像，以及基于所述細(xì)節(jié)修復(fù)結(jié)果更新所述掩碼信息，返回所述調(diào)用所述細(xì)節(jié)圖像修復(fù)網(wǎng)絡(luò)模型對所述中間圖像特征圖、中間掩碼信息、所述目標(biāo)圖像以及所述掩碼信息進(jìn)行處理，得到細(xì)節(jié)修復(fù)結(jié)果這一步驟，并順序執(zhí)行，直至滿足預(yù)設(shè)修復(fù)停止條件時停止；

對所述多個細(xì)節(jié)修復(fù)結(jié)果進(jìn)行卷積和殘差操作，得到所述目標(biāo)圖像對應(yīng)的修復(fù)圖像。

4.根據(jù)權(quán)利要求3所述的圖像修復(fù)方法，其特征在于，調(diào)用所述細(xì)節(jié)圖像修復(fù)網(wǎng)絡(luò)模型對所述粗糙修復(fù)特征圖、所述粗糙修復(fù)掩碼信息、所述初始圖像特征圖和所述初始掩碼信息進(jìn)行處理，得到細(xì)節(jié)修復(fù)結(jié)果，包括：

調(diào)用所述細(xì)節(jié)圖像修復(fù)網(wǎng)絡(luò)模型，以使所述細(xì)節(jié)圖像修復(fù)網(wǎng)絡(luò)模型基于所述粗糙修復(fù)特征圖、所述粗糙修復(fù)掩碼信息、所述初始圖像特征圖和所述初始掩碼信息，對所述掩碼信息進(jìn)行卷積操作，得到更新后的掩碼信息，以及所述目標(biāo)圖像中的被修復(fù)部分的權(quán)重值，對所述更新后的掩碼信息和所述被修復(fù)部分的權(quán)重值進(jìn)行點乘操作，得到細(xì)節(jié)修復(fù)結(jié)果。