[發明專利]圖像修復方法、裝置和電子設備

有效

• 申請號: 202010428872.3
• 申請日: 2020-05-20
• 公開（公告）號: CN111612714B
• 公開（公告）日: 2022-11-15
• 發明（設計）人: 周愷卉;王長虎
• 申請（專利權）人: 北京字節跳動網絡技術有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04;G06N3/08
• 代理公司: 北京風雅頌專利代理有限公司 11403
• 代理人: 李翔

1.一種圖像修復方法，其特征在于，包括：

獲取待修復圖像；

提取所述待修復圖像中的噪聲圖像；

將所述待修復圖像以及所述噪聲圖像生成修復后的圖像，包括：將所述待修復圖像以及所述噪聲圖像輸入圖像修復模型生成修復后的圖像；

所述圖像修復模型由以下步驟訓練得到：

獲取訓練數據集合，其中所述訓練數據集合中的每一個數據是由原始圖像、在原始圖像中添加了噪聲的第一圖像以及由所述噪聲生成的第二圖像所組成的三元數據；

初始化圖像修復模型的參數；

將所述第一圖像以及所述第二圖像輸入所述圖像修復模型得到預測圖像；

使用相同的特征提取方法提取所述預測圖像和所述原始圖像的特征得到預測圖像的特征圖像和原始圖像的特征圖像；

根據所述原始圖像、預測圖像、原始圖像的特征圖像以及預測圖像的特征圖像計算誤差；

基于所述誤差更新所述圖像修復模型的參數；

使用更新后的參數迭代上述參數更新的過程直至達到收斂條件；

將達到收斂條件時所得到的參數作為訓練好的圖像修復模型的參數。

2.如權利要求1所述的圖像修復方法，其中所述提取所述待修復圖像中的噪聲圖像包括：

將所述待修復圖像輸入噪聲圖像提取模型得到所述待修復圖像中的噪聲圖像。

3.如權利要求1所述的圖像修復方法，其中所述獲取訓練數據集合，包括：

獲取原始圖像；

在原始圖像上隨機生成噪聲得到第一圖像；

根據所述噪聲生成僅包含所述噪聲的第二圖像。

4.如權利要求3所述的圖像修復方法，其中所述第一圖像中的噪聲的像素點與所述噪聲圖像中的噪聲像素點一一對應。

5.如權利要求3或4所述的圖像修復方法，其中所述第二圖像為背景為黑色、噪聲為白色的二值化圖像。

6.如權利要求1所述的圖像修復方法，其中所述將所述第一圖像以及所述第二圖像輸入所述圖像修復模型得到預測圖像，包括：

將所述第一圖像以及第二圖像輸入所述圖像修復模型的多個卷積層中進行下采樣得到預定尺度大小的第一特征圖像；

將所述第一特征圖像輸入所述圖像修復模型的多個反卷積層中進行上采樣得到與所述原始圖像大小相同的預測圖像。

7.如權利要求6所述的圖像修復方法，其中所述多個卷積層中的每個卷積層的輸出特征圖像作為與其對應的反卷積層的輸入圖像。

8.如權利要求1所述的圖像修復方法，其中所述使用相同的特征提取方法提取所述預測圖像和所述原始圖像的特征得到預測圖像的特征圖像和原始圖像的特征圖像，包括：

將所述預測圖像和所述原始圖像分別輸入同一個卷積神經網絡，其中所述卷積神經網絡包括多個卷積層；

所述神經網絡的多個卷積層輸出多個尺度不同的預測圖像的特征圖像以及多個尺度不同的原始圖像的特征圖像。

9.如權利要求1所述的圖像修復方法，其中所述根據所述原始圖像、預測圖像、原始圖像的特征圖像以及預測圖像的特征圖像計算誤差，包括：

根據所述原始圖像和所述預測圖像計算第一誤差；

根據所述原始圖像的特征圖像和預測圖像的特征圖像計算第二誤差；

根據所述第一誤差和所述第二誤差計算總誤差。

10.如權利要求9所述的圖像修復方法，其中所述根據所述原始圖像的特征圖像和預測圖像的特征圖像計算第二誤差，包括：

根據原始圖像的多個尺度不同的特征圖像以及與之對應的預測圖像的多個尺度不同的特征圖像計算第二誤差。

11.如權利要求1所述的圖像修復方法，其中所述收斂條件包括：

迭代次數超過預設次數值或者所述誤差小于預設誤差值。