[發(fā)明專利]一種基于語義邊緣融合的圖像補全方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202011049723.2
• 申請日: 2020-09-29
• 公開（公告）號: CN112184585A
• 公開（公告）日: 2021-01-05
• 發(fā)明（設(shè)計）人: 冷聰;李成華;倪浩鵬;蔡逸揚;曾偉鍵;程健
• 申請（專利權(quán)）人: 中科方寸知微（南京）科技有限公司;中國科學院自動化研究所南京人工智能芯片創(chuàng)新研究院
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/08;G06N3/04;G06T11/40
• 代理公司: 南京泰普專利代理事務(wù)所(普通合伙) 32360
• 代理人: 張磊

本發(fā)明提出了一種基于語義邊緣融合的圖像補全方法及系統(tǒng)，包括以下步驟：步驟1、針對原始輸入圖像生成語義邊緣圖；步驟2、分別建立邊緣模型和補全模型；步驟3、聯(lián)合訓練步驟2中建立的邊緣模型和補全模型；步驟4、將需要修復的破損圖像輸入至步驟3中訓練后的邊緣模型和補全模型中重新構(gòu)建。采用用于圖像修復的語義邊緣融合模型，該模型通過先產(chǎn)生邊緣紋理，再對內(nèi)容進行著色的方式，替換傳統(tǒng)的直接恢復方法，這樣可以使得恢復的圖像具有更多的細節(jié)和更少的噪聲；提出了一種端到端可訓練網(wǎng)絡(luò)，該網(wǎng)絡(luò)結(jié)合了邊緣生成和圖像修補功能以恢復丟失的區(qū)域。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于語義邊緣融合的圖像補全方法及系統(tǒng)，屬于G06T：一般的圖像數(shù)據(jù)處理或產(chǎn)生領(lǐng)域，尤其涉及G06T5/00：圖像的增強或復原領(lǐng)域。

背景技術(shù)

在信息社會中，圖像是最重要的信息來源。如何獲得更完整，更清晰的圖像也已成為計算機視覺領(lǐng)域的熱點，相關(guān)應用領(lǐng)域包括圖像修復和超分辨率。圖像修復是指從受損圖像中圖像信息的其余部分恢復完整圖像的技術(shù)。對于人眼而言，這并不是一項艱巨的任務(wù)，但對于計算機視覺而言，這卻是一個相當具有挑戰(zhàn)性的任務(wù)。這項技術(shù)有許多實用方案，例如，圖像恢復(用于去除照片劃痕和文本遮擋)，照片編輯(去除不需要的目標)，圖像編碼和傳輸(圖像傳輸期間的網(wǎng)絡(luò))需要使用由數(shù)據(jù)包丟失引起的圖像塊內(nèi)容丟失)。因此，圖像修復技術(shù)是近年來非常流行的研究領(lǐng)域。

目前，基于深度學習的算法不但可以獲得比其他傳統(tǒng)修復技術(shù)更好的視覺效果，而且能處理更多的缺失類型。生成對抗網(wǎng)絡(luò)(Generative adversarial net,GAN)的出現(xiàn)進一步推動了這一領(lǐng)域的研究。當前的圖像修補技術(shù)可以按照步驟分為兩類：單階段補全和雙階段補全。單階段補全直接進行圖像修復，并通過不同類型的模塊設(shè)計實現(xiàn)此效果。例如將卷積更改為部分卷積，其中卷積被屏蔽并重新規(guī)范化為僅以有效像素為條件；又或者是判別網(wǎng)絡(luò)，以發(fā)現(xiàn)變換后的圖像和相應的地面真實性之間的差異；還可以共享權(quán)重，同時解碼粗略輸出和精煉輸出。雙階段補全則將修補分為兩個步驟，第一步是勾勒出整個圖像的紋理邊緣，第二步是上色。相比之下，單階段模型的效率較高，但是這種類型的模型將具有在處理大面積空白空間時無法完全修復的問題。雙階段模型更有效，但是需要更多的計算資源。

盡管各種圖像修復方法在恢復圖像空白都取得了可喜的成果。但在如下幾個方面也存在局限性。第一，對于方塊蒙版式的圖像空白無法獲得令人滿意的恢復效果，尤其是當方塊蒙版面積相對較大或周圍信息不多時(類似于圖像傳輸過程終端，導致恢復出的圖像少了一部分；或者是在拍照的同時想要拍的物體被遮擋)；第二，如果圖像本身尺寸過大，模型運算量會超過顯卡上限，但等比縮小這種方案卻會丟失很多圖像細節(jié)。

發(fā)明內(nèi)容

發(fā)明目的：本發(fā)明的目的在于克服現(xiàn)有技術(shù)中的不足，提供一種基于語義邊緣融合的圖像補全方法。進一步目的是提供一種實現(xiàn)上述方法的系統(tǒng)。

技術(shù)方案：一種基于語義邊緣融合的圖像補全方法，包括以下步驟：

步驟1、針對原始輸入圖像生成語義邊緣圖；

步驟2、分別建立邊緣模型和補全模型；

步驟3、聯(lián)合訓練步驟2中建立的邊緣模型和補全模型；

步驟4、將需要修復的破損圖像輸入至步驟3中訓練后的邊緣模型和補全模型中重新構(gòu)建。

在進一步的實施例中，所述步驟1進一步為：

步驟1-1、提取原始輸入圖像的邊緣，生成圖像邊緣圖；

步驟1-2、將步驟1-1中生成的圖像邊緣圖和已有的語義圖像進行融合，生成語義邊緣圖。

在進一步的實施例中，所述步驟2進一步為：