[發明專利]一種基于目標優化的語義圖像修復方法

有效

• 申請號: 201910341570.X
• 申請日: 2019-04-26
• 公開（公告）號: CN110097110B
• 公開（公告）日: 2021-07-20
• 發明（設計）人: 郭煒強;徐紹棟;張宇;鄭波
• 申請（專利權）人: 華南理工大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 馮炳輝

本發明公開了一種基于目標優化的語義圖像修復方法，該方法是以網絡結構優化和修復過程優化為主要目標。在網絡結構優化方面，通過移除Context?Encoder中的通道連接層、添加并聯空洞卷積層和設置符合人類感官層次的損失函數的方式，使整個網絡在盡量捕獲更多圖像語義特征的同時保留其空間關系。在修復過程優化方面，通過圖像語義分割網絡捕獲待修復圖像中的特定目標，在利用泛化模型對整張圖像進行修復的同時可以針對捕獲到的目標進行修復優化操作，從而使修復結果具備更高的可靠性和準確性。本發明既保留了圖像的空間信息，也針對特定的目標進行修復優化，進而有效地解決了常規修復方法中存在的語義混亂問題。

技術領域

本發明涉及數字圖像處理的技術領域，尤其是指一種基于目標優化的語義圖像修復方法。

背景技術

卷積神經網絡是基于人工神經網絡提出的。人工神經網絡模擬人的神經系統，由一定數量的神經元構成。在一個監督學習問題中，有一組訓練數據(x_i,y_i)，x是樣本，y是類別標注，把它們輸入人工神經網絡，會得到一個非線性的分類超平面h_w,b(x)，通過這個超平面可以將輸入的所有圖像數據進行分類。

一個神經元是神經網絡中的一個運算單元，它實質上就是一個函數。如圖1所示，為一個神經元的示意圖：

有3個輸入x₁、x₂、x₃，+1是一個偏置值，輸出f是激活函數，w為每個輸入所占的比重，b為偏置值，這里的激活函數用的是sigmoid函數：

人工神經網絡就是由多個上述的神經元組合成的，如圖2所示，為一個小型的人工神經網絡的示意圖：

圖中的卷積神經網絡中，輸入就是一幅幅的圖像，權值w就是卷積模板，為不同神經元的權重，一般是卷積層和下采樣層交替，最后是全連接的神經網絡，也就是上述經典的人工神經網絡。如圖3所示，為一個簡單的卷積神經網絡示意圖：

圖中，卷積層對圖像進行信息提取，池化層用于增大圖像的感受野，全連接層將中間層映射為特定維度的輸出。

Context-Encoder是神經網絡的一種，它是最早的用于圖像修復的深度學習網絡，它的主要貢獻在于將生成式對抗網絡的對抗思想引入到圖像修復領域。Context-Encoder的主要結構包含一個編碼器和一個解碼器。網絡結構比較一致，從頭到尾使用的都是卷積層。到目前為止，Context-Encoder仍然被很廣泛地用于圖像修復的研究。

Context-Encoder網絡結構中通道連接層丟失了圖像的空間信息，且無法針對圖像中的特定目標進行單獨修復，以上兩個因素使得修復結果存在局部模糊的問題。針對以上問題，本發明提出一種更適用于圖像修復的解決方案。

發明內容

本發明的目的在于克服現有技術的缺點與不足，提出了一種基于目標優化的語義圖像修復方法，能夠針對圖像中的特定目標進行優化的圖像修復，可以有效解決普通修復算法在特定情況下的語義混亂問題。

為實現上述目的，本發明所提供的技術方案為：一種基于目標優化的語義圖像修復方法，該方法是以網絡結構優化和修復過程優化為主要目標，在網絡結構優化方面，通過移除Context-Encoder中的通道連接層、添加并聯空洞卷積層和設置符合人類感官層次的損失函數的方式，使整個網絡在盡量捕獲更多圖像語義特征的同時保留其空間關系，在修復過程優化方面，通過圖像語義分割網絡捕獲待修復圖像中的特定目標，在利用泛化模型對整張圖像進行修復的同時能夠針對捕獲到的目標進行修復優化操作，從而使修復結果具備更高的可靠性和準確性；其包括以下步驟：

1)通過線性插值對輸入圖像和掩膜進行預處理，使所有圖像滿足網絡輸入要求；

2)將輸入圖像與掩膜相結合，獲得缺失圖像；