[發明專利]高清圖像修復方法、裝置、電子設備和存儲介質

在審

• 申請號: 202110089390.4
• 申請日: 2021-01-22
• 公開（公告）號: CN112669240A
• 公開（公告）日: 2021-04-16
• 發明（設計）人: 王昊然;張華;于波;尹露露
• 申請（專利權）人: 深圳市格靈人工智能與機器人研究院有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T3/40;G06K9/00;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 邱維杰

1.一種高清圖像修復方法，其特征在于，包括以下步驟：

獲取待修復圖像；

對所述待修復圖像進行編碼，得到編碼圖像數據；

基于編碼圖像數據獲得圖像退化特征；

將所述編碼圖像數據和所述圖像退化特征輸入預訓練好的基于風格的生成對抗網絡中，得到所述待修復圖像修復后的高清圖像。

2.根據權利要求1所述的高清圖像修復方法，所述獲取待修復圖像，包括：

獲取原始圖像；

對所述原始圖像進行人臉檢測，檢測到人臉后，對人臉區域做關鍵點配準，將關鍵點配準到實際檢測后的人臉框內；

對人臉進行模板校準，將人臉形變扭曲到模板方向上；

將做完形變后的人臉區域框，統一采樣到固定大小，將圖像數值歸一化到[-1,1]的范圍內，得到所述人像圖像，將所述人像圖像設置為待修復圖像。

3.根據權利要求2所述的高清圖像修復方法，其特征在于，還包括：

將所述基于風格的生成對抗網絡輸出的所述圖像數值反歸一化到[0,1]的數值范圍內，得到修復好的所述高清圖像。

4.根據權利要求1所述的高清圖像修復方法，所述對所述待修復圖像進行編碼，得到編碼圖像數據，還包括：

將所述編碼圖像數據輸入隱式編碼層中。

5.根據權利要求4所述的高清圖像修復方法，所述將所述編碼圖像數據和所述圖像退化特征輸入預訓練好的基于風格的生成對抗網絡中，得到所述待修復圖像修復后的高清圖像，包括：

基于風格的生成對抗網絡中的全連接模塊從所述隱式編碼層中獲取所述編碼圖像數據，得到不同層級的圖像風格；

基于風格的生成對抗網絡中的解碼模塊從所述全連接模塊中獲取所述圖像風格，并且所述解碼模塊中的各層一一對應地獲取所述圖像退化特征；

所述解碼模塊根據所述圖像風格和所述圖像退化特征，得到所述待修復圖像修復后的高清圖像。

6.根據權利要求1所述的高清圖像修復方法，其特征在于，還包括：

獲取訓練圖像集合；

對所述訓練圖像集合進行模擬圖像退化，得到退化圖像集合；

從所述退化圖像集合獲取編碼圖像數據和圖像退化特征，并將所述編碼圖像數據和圖像退化特征輸入基于風格的生成對抗網絡，得到優化函數；

根據所述優化函數調整所述訓練圖像集合的輸入參數。

7.根據權利要求6所述的高清圖像修復方法，其特征在于：所述優化函數包括多個損失函數，多個所述損失函數分別為圖像回歸的均方誤差損失函數、感知損失函數、Arc損失函數、退化損失函數和生成對抗損失函數。

8.一種高清圖像修復裝置，其特征在于，包括：

圖像獲取模塊，用于獲取待修復圖像；

編碼模塊，用于對所述待修復圖像進行編碼，得到編碼圖像數據；所述編碼模塊包括編碼單元和隱式編碼層，所述編碼單元包括多個卷積層和激活函數層；

噪聲模塊，用于基于編碼圖像數據獲得圖像退化特征；所述噪聲模塊包括多個卷積層和激活函數層；

基于風格的生成對抗網絡，用于根據所述編碼圖像數據和所述圖像退化特征，得到所述待修復圖像修復后的高清圖像；所述基于風格的生成對抗網絡為StyleGan網絡，所述基于風格的生成對抗網絡包括全連接模塊和解碼模塊，所述全連接模塊包括多個全連接層，所述解碼模塊包括多個耦合卷積層、解耦合卷積層和激活函數層。

9.一種電子設備，其特征在于，包括：

至少一個存儲器；

至少一個處理器；

至少一個程序；

所述程序被存儲在所述存儲器中，所述處理器執行所述至少一個程序以實現如權利要求1至7任一項所述的方法。

10.一種存儲介質，所述存儲介質為計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質存儲有計算機可執行指令，所述計算機可執行指令用于使計算機執行如權利要求1至7任一項所述的方法。