[發明專利]一種基于感知損失和風格損失的圖像擴展方法

有效

• 申請號: 202011244337.9
• 申請日: 2020-11-10
• 公開（公告）號: CN112365556B
• 公開（公告）日: 2021-09-28
• 發明（設計）人: 李孝杰;任勇鵬;吳錫;任紅萍
• 申請（專利權）人: 成都信息工程大學
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06N3/08;G06N3/04
• 代理公司: 成都智涌知識產權代理事務所(普通合伙) 51313
• 代理人: 張洪

1.一種基于感知損失和風格損失的圖像擴展方法，其特征在于，所述方法包括：

步驟1：準備待擴展圖像數據集，按照約定比例劃分為訓練數據集和測試數據集；

步驟2：對所述待擴展圖像數據集進行預處理，將數據集中的原始圖像分割成中間圖像Im和余下四周的圖像Ic；

步驟3：采用預處理后的所述訓練數據集對構建好的圖像擴展網絡進行訓練，所述圖像擴展網絡包括生成器、兩個并行的判別器和預訓練的VGG19網絡，所述生成器包括依次運行的編碼器、兩個并行的殘差模塊和解碼器，其中，

所述編碼器用于根據輸入的缺失圖像生成該圖像的隱層特征表示；

所述并行的殘差模塊包括重構殘差模塊和生成殘差模塊，用于實現推斷網絡功能，生成的均值和方差以供解碼器對隱層空間的特征采樣；

所述解碼器用于根據輸入的隱層特征圖生成缺失的圖像內容；

所述并行的判別器包括重構判別器和生成判別器，用于將重構圖像和原始圖像、生成圖像和原始圖像進行打分來進行對抗訓練；

所述預訓練的VGG19網絡用于提取生成器生成的生成圖像和原始圖像的特征圖，用于計算兩個特征圖的感知損失和風格損失，以對生成器進行約束，使網絡獲取圖像的高層全局信息和底層細節信息，把握圖像的整體風格走向，提高擴展性能；具體的，

感知損失，指通過提取的所述生成圖像和所述原始圖像的特征圖，對兩者作一范約束，縮小兩者之間的差距，最終達到提升擴展區域質量的效果，計算公式如下：

其中，I_gt和I_gen分別是原始圖片和生成圖片，φ_j(·)表示VGG19網絡提取的第j層特征圖；

風格損失，是指通過提取的所述生成圖像和所述原始圖像的特征圖，計算兩個特征圖的格拉姆矩陣，對兩者的格拉姆矩陣作約束，最后達到提升生成圖片質量的效果，計算公式如下：

其中，I_gt和I_gen分別是原始圖片和生成圖片，φ_i(·)表示VGG網絡提取的第i層特征圖，G(·)是其特征圖對應的格拉姆矩陣；

步驟4：訓練完成后，用所述測試數據集對訓練好的擴展模型進行測試，在進行測試時，去掉擴展模型中的重構殘差模塊和重構判別器，只將中間圖像Im輸入到擴展模型中，最終得到由生成器輸出的預測擴展圖像。

2.如權利要求1所述的圖像擴展方法，其特征在于，擴展網絡的訓練方法具體包括：

步驟31：將所述中間圖像Im和所述四周圖像Ic按通道維度拼接后送入編碼器，所述編碼器對輸入進行特征提取得到第一特征圖，將所述第一特征圖按通道維度拆開得到第二特征圖和第三特征圖，所述第二特征圖和所述第三特征圖分別為所述中間圖像Im和所述四周圖像Ic的特征圖；拼接的目的是為了編碼器能夠同時處理中間圖像Im和四周圖像Ic；

步驟32：將所述第二特征圖和所述第三特征圖分別輸入到生成殘差模塊和重構殘差模塊，分別計算其均值和方差，以便從正態分布中采樣得到隱層特征，供解碼器下采樣回圖像的原始尺寸；

步驟33：將所述隱層特征按通道維度拼接后輸入到解碼器中，將經過解碼器后得到圖像按通道維度拆分為生成圖像Igen和重構圖像Irec，將所述生成圖像和重構圖像分別送入對應的判別器中，同時將原始圖像輸入到兩個判別器中，所述生成判別器用于對生成圖像和原始圖像進行打分，所述重構判別器用于對所述重構圖像和原始圖像進行打分，根據兩個判別器輸出的判別結果來進行對抗訓練；

步驟34：將所述生成圖像和其對應的原始圖像輸入預訓練好的VGG19網絡中，提取其對應的特征圖，通過約束兩者的特征圖的距離來達到提升所述生成圖像質量的目的，具體的，通過計算感知損失和風格損失來指導生成器的訓練；

步驟35：將1個batch數據作為一次迭代訓練生成對抗網絡，一次迭代更新一次判別器和生成器的參數，一次迭代完成判別器和生成器的交替訓練；

步驟36：判斷是否達到訓練迭代總次數，若滿足條件則完成訓練，否則返回步驟31。

3.如權利要求2所述的圖像擴展方法，其特征在于，步驟3的訓練方法還包括利用KL損失計算中間圖像Im和四周圖像Ic對應特征圖的均值和方差所確定的分布的差異，利用到所述四周圖像Ic的語義信息，來使所述中間圖像Im的分布跟所述四周圖像Ic的分布靠攏，提高網絡擴展性能。