[發(fā)明專利]一種基于線框和邊緣結構的多尺度圖像修復系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110274795.5
• 申請日: 2021-03-15
• 公開（公告）號: CN112967218B
• 公開（公告）日: 2022-03-18
• 發(fā)明（設計）人: 付彥偉;曹辰捷
• 申請（專利權）人: 復旦大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T7/13;G06T3/40;G06N3/04;G06N3/08
• 代理公司: 上海德昭知識產(chǎn)權代理有限公司 31204
• 代理人: 郁旦蓉

本發(fā)明提供了一種基于線框和邊緣結構的多尺度圖像修復系統(tǒng)，用于針對包含建筑或家具的室內(nèi)外場景下的待處理圖像進行結構信息補全，并完成圖像修復或對象移除任務，其特征在于，包括：線框與邊緣抽取模塊利用預定的線框抽取方法對待處理圖像進行線框抽取得到線框圖像，并利用預定的邊緣抽取方法對待處理圖像進行邊緣抽取得到邊緣圖像；結構修復模塊基于待處理圖像、線框圖像以及邊緣圖像，通過預先訓練好的結構修復模型進行結構修復，從而得到修復好的待處理圖像作為結構修復圖像；圖像處理模塊基于結構修復圖像完成圖像修復任務或對象移除任務。本發(fā)明的圖像修復系統(tǒng)針對人造的場景(如室內(nèi)家具、室外建筑)有更好的圖像修復性能。

技術領域

本發(fā)明屬于圖像生成領域，具體涉及一種基于線框和邊緣結構的多尺度圖像修復系統(tǒng)。

背景技術

圖像修復是一種將圖片中缺省的區(qū)域進行填充修補的任務。而圖像修復的目的是確保修復的圖像區(qū)域的紋理細節(jié)的真實性和合理性。并且通過不同的對圖像遮掩的系統(tǒng)，圖像修復可以為許多現(xiàn)實應用服務，例如圖像恢復，圖像編輯，對象移除等等。

作為計算機視覺近年來的研究熱門，基于深度學習的圖像修復算法已經(jīng)有了許多有價值的工作。其中不少工作致力于通過對模型的改進模型來改善填補區(qū)域的紋理細節(jié)。例如文[1]提出了基于門控卷積的圖像修復算法，有效提升了不規(guī)則遮掩的圖像修復效果。文[2]提出了多尺度的注意力模型，進一步提升了圖像修復的紋理效果。然而這些模型并沒有考慮到缺失的結構信息。

針對缺失的結構信息，文[3]提出了一個兩階段的修復系統(tǒng)，首先還原缺失區(qū)域的邊緣信息，再基于邊緣進行圖像修復上色。文[4]則是將不同算子得到的邊緣梯度信息作為監(jiān)督信號來進行多任務訓練，以期望得到更優(yōu)的效果。然而，這些輔助的邊緣信息往往基于梯度運算，從而存在一些缺點，例如直線邊緣往往是斷斷續(xù)續(xù)的，又由于依賴梯度從而丟失一些顏色不敏感的區(qū)域的結構信息。

參考文獻

[1]Yu J,Lin Z,Yang J,et al.Free-form image inpainting with gatedconvolution[C]//Proceedings of the IEEE International Conference on ComputerVision.2019:4471-4480.

[2]Zeng Y,Fu J,Chao H,et al.Learning pyramid-context encoder networkfor high-quality image inpainting[C]//Proceedings of the IEEE conference oncomputer vision and pattern recognition.2019:1486-1494.

[3]Nazeri K,Ng E,Joseph T,et al.Edgeconnect:Generative imageinpainting with adversarial edge learning[J].arXiv preprint arXiv:1901.00212,2019.

[4]Yang J,Qi Z,Shi Y.Learning to Incorporate Structure Knowledge forImage Inpainting[C]//AAAI.2020:12605-12612.

發(fā)明內(nèi)容

為解決上述問題，提供了一種充分利用了結構信息的圖像修復系統(tǒng)，本發(fā)明采用了如下技術方案：