[發明專利]圖像修復方法、裝置和電子設備

有效

• 申請號: 202010428881.2
• 申請日: 2020-05-20
• 公開（公告）號: CN111612715B
• 公開（公告）日: 2022-09-23
• 發明（設計）人: 周愷卉;王長虎
• 申請（專利權）人: 北京字節跳動網絡技術有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04;G06N3/08
• 代理公司: 北京風雅頌專利代理有限公司 11403
• 代理人: 李翔

1.一種圖像修復方法，其特征在于，包括：

獲取待修復圖像；

生成待修復圖像中的噪聲區域的修復圖像；

將所述噪聲區域的修復圖像貼合到所述待修復圖像上得到修復后的圖像；

其中，所述生成待修復圖像中的噪聲區域的修復圖像，包括：將所述待修復圖像輸入圖像修復模型得到所述噪聲區域的修復圖像；

所述圖像修復模型通過以下訓練步驟得到：獲取訓練數據集合，其中所述訓練數據集合中的訓練數據是由原始圖像、在原始圖像中添加了噪聲的第一圖像以及由所述噪聲生成的第二圖像所組成的三元數據；根據所述原始圖像以及所述第二圖像生成噪聲區域的修復圖像；初始化圖像修復模型的參數；將所述第一圖像輸入所述圖像修復模型得到預測的噪聲區域的修復圖像；根據所述噪聲區域的修復圖像以及所述預測的噪聲區域的修復圖像計算誤差；基于所述誤差更新所述圖像修復模型的參數；使用更新后的參數迭代上述參數更新的過程直至達到收斂條件；將達到收斂條件時所得到的參數作為訓練好的圖像修復模型的參數。

2.如權利要求1所述的圖像修復方法，其中所述生成待修復圖像中的噪聲區域的修復圖像，包括：

根據所述待修復圖像生成噪聲區域的輪廓；

根據所述待修復圖像生成中間圖像；

根據所述噪聲區域的輪廓以及中間圖像生成所述噪聲區域的修復圖像。

3.如權利要求2所述的圖像修復方法，其中所述修復模型包括編碼層、第一解碼層和第二解碼層，其中：

所述將所述待修復圖像輸入所述編碼層得到所述待修復圖像的特征圖；

其中，所述根據所述待修復圖像生成噪聲區域的輪廓，包括：

將所述待修復圖像的特征圖輸入所述第一解碼層得到所述噪聲區域的輪廓；

所述根據所述待修復圖像生成中間圖像，包括：

將所述待修復圖像的特征圖輸入所述第二解碼層得到所述中間圖像。

4.如權利要求1所述的圖像修復方法，其中所述獲取訓練數據集合，包括：

獲取原始圖像；

在原始圖像上隨機生成噪聲得到第一圖像；

根據所述噪聲生成僅包含所述噪聲的第二圖像。

5.如權利要求4所述的圖像修復方法，其中所述第一圖像中的噪聲的像素點與所述噪聲圖像中的噪聲像素點一一對應。

6.如權利要求1-5任一項所述的圖像修復方法，其中所述第二圖像為背景為黑色、噪聲為白色的二值化圖像。

7.如權利要求1所述的圖像修復方法，其中所述將所述第一圖像輸入所述圖像修復模型得到預測的噪聲區域的修復圖像，包括：

將所述第一圖像輸入所述圖像修復模型的編碼層得到預定尺度大小的第一特征圖像；

將所述第一特征圖像輸入所述圖像修復模型的第一解碼層得到與所述第一圖像大小相同的預測的第二圖像；

將所述第一特征圖像輸入所述圖像修復模型的第二解碼層得到與所述第一圖像大小相同的預測的中間圖像；

根據所述預測第二圖像和所述預測的中間圖像計算得到預測的噪聲區域的修復圖像。

8.如權利要求7所述的圖像修復方法，其中所述解碼層包括多個卷積層，所述多個卷積層對所述第一圖像進行下采樣得到所述第一特征圖像。

9.如權利要 求7所述的圖像修復方法，其中所述第一解碼層和所述第二解碼層分別包括多個反卷積層，所述第一解碼層的多個反卷積層對所述第一特征圖進行上采樣得到預測的第二圖像；所述第二解碼層的多個反卷積層對所述第一特征圖進行上采樣得到預測的中間圖像。

10.如權利要求7所述的圖像修復方法，其中所述根據所述預測的第二圖像和所述預測的中間圖像計算得到預測的噪聲區域的修復圖像，包括：

將所述的預測的第二圖像和所述預測的中間圖像進行對應像素值相乘計算得到預測的噪聲區域的修復圖像。