[發明專利]基于深度學習的去除馬賽克的方法、裝置及電子設備

有效

• 申請號: 201811193895.X
• 申請日: 2018-10-15
• 公開（公告）號: CN109410123B
• 公開（公告）日: 2023-08-18
• 發明（設計）人: 陳苗
• 申請（專利權）人: 深圳市能信安科技股份有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 北京圣達博通知識產權代理事務所(普通合伙) 11675
• 代理人: 馬皓

本申請公開了一種基于深度學習的去除馬賽克的方法、裝置及電子設備，該方法包括：獲取包括待修復馬賽克區域的待修復圖像；將待修復圖像輸入至圖像修復模型中，通過圖像修復模型生成與待修復圖像對應的被掩碼masked圖像；與待修復圖像對應的masked圖像滿足：與待修復圖像大小相同，圖像中的掩碼mask區域重疊或覆蓋待修復馬賽克區域，圖像中的mask區域的像素值為設定值，圖像中除mask區域之外的區域的像素值為待修復圖像中相應區域的像素值；通過圖像修復模型對masked圖像進行修復，得到修復后的圖像。本申請的方案，對待修復圖像的修復可以不依賴于待修復圖像對應的原圖中馬賽克區域的信息，且修復效果好。

技術領域

本申請涉及圖像處理技術領域，尤其涉及一種基于深度學習的去除馬賽克的方法、裝置及電子設備。

背景技術

目前，去馬賽克技術其實是個圖像超分辨率問題，也就是如何在低分辨率圖像基礎上得到更高分辨率的圖像。通常情況下，馬賽克是難以清除的。這是因為在打碼過程中，原圖的信息會經歷不可逆的損失，如果沒有原始圖片，是不可能將馬賽克完美去掉的。現有常用去馬賽技術主要有：

傳統的去馬賽克技術，基本上都是基于插值算法實現，比如，LCCI(LinearInterpolation?with?Color?Correction?Terms?I，帶顏色校正的線性插值)，NNR(NearestNeighbor?Replication，最近鄰復制)，Biliner(雙線性插值)以及Vargra(InterpolationUsing?Threshold-based?Variable?Number?of?Gradients，基于閾值的梯度變量插值)。但是基于插值的去馬賽克算法，去馬賽的效果并不太好，有的沒有克服假色影響，有的不能保證圖像輪廓邊緣的平滑性，有的插值結果會產生塊狀紋理，影響圖像的視覺效果。

現有的基于深度學習的去馬賽克技術，有基于圖像翻譯的pix2pix(像素轉像素)模型，有結合對偶學習和GAN(Generative?Adversarial?Networks，生成式對抗網絡)思想的CycleGAN，甚至可以使用基于GAN的超分辨率SRGAN方法，還有Google?Brain?2017年提出的像素遞歸超分辨率(Pixel?Recursive?Super?Resolution)。基于深度學習的去馬賽克技術，雖然一定程度上能重建修復馬賽克，但該方式具有數據量大，收斂不易，訓練難度大，參數調整困難等問題，并且大部分訓練都依賴于原始圖片信息。

無論是傳統插值算法，還是基于深度學習算法的馬賽克去除，都過分依賴于馬賽克的制作方式，比如傳統插值算法可能要依賴于馬賽克生成規則，而深度學習算法會依賴于馬賽克的大小。

發明內容

為了解決上述現有技術中存在的至少一個問題，本申請提供了一種基于深度學習的去除馬賽克的方法、裝置及電子設備。為了解決上述問題，本申請主要提供如下技術方案：

第一方面，本發明實施例提供了一種基于深度學習的去除馬賽克的方法，該方法包括：

獲取待修復圖像，所述待修復圖像中包括待修復馬賽克區域；

將所述待修復圖像輸入至圖像修復模型中，通過所述圖像修復模型生成與所述待修復圖像對應的被掩碼(masked)圖像；

其中，與所述待修復圖像對應的masked圖像滿足：與所述待修復圖像大小相同，圖像中的掩碼mask區域重疊或覆蓋所述待修復馬賽克區域，圖像中的mask區域的像素值為設定值，圖像中除mask區域之外的區域的像素值為所述待修復圖像中相應區域的像素值；

通過所述圖像修復模型對所述masked圖像進行修復，得到修復后的圖像。

在第一方面的可選實施方式中，所述通過所述圖像修復模型生成與所述待修復圖像對應的被掩碼masked圖像，包括：

通過所述圖像修復模型檢測所述待修復圖像中的所述待修復馬賽克區域；