[發明專利]高清圖像修復方法、裝置、電子設備和存儲介質

在審

• 申請號: 202110089390.4
• 申請日: 2021-01-22
• 公開（公告）號: CN112669240A
• 公開（公告）日: 2021-04-16
• 發明（設計）人: 王昊然;張華;于波;尹露露
• 申請（專利權）人: 深圳市格靈人工智能與機器人研究院有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T3/40;G06K9/00;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 邱維杰

本發明公開了一種高清圖像修復方法、裝置、電子設備和存儲介質，其中方法包括以下步驟：獲取待修復圖像；對所述待修復圖像進行編碼，得到編碼圖像數據；基于編碼圖像數據獲得圖像退化特征；將所述編碼圖像數據和所述圖像退化特征輸入預訓練好的基于風格的生成對抗網絡中，得到所述待修復圖像修復后的高清圖像。應用本發明，能夠對待修復圖像做到較為全面的高清修復。

技術領域

本發明涉及圖像識別的技術領域，特別涉及一種高清圖像修復方法、裝置、電子設備和存儲介質。

背景技術

圖像修復包括圖像降噪、圖像去模糊、圖像超分辨率以及圖像去壓縮。目前的技術方案分為兩種，一種是只針對部分問題，進行人像修復，比如只針對人像超分辨率、人像去模糊問題提出的方案，將問題分步驟做完；另外一種是將降噪去模糊超分問題混雜在一起，利用額外的先驗信息，采用訓練一個基于生成對抗的自動編碼器來進行人像修復?，F有的技術方案，在面對現實世界真實多樣的圖像退化問題時，往往難以做到全面修復。

發明內容

本發明旨在至少解決現有技術中存在的技術問題之一。為此，本發明提出一種高清圖像修復方法、裝置、電子設備和存儲介質，能夠對待修復圖像做到較為全面的高清修復。

根據本發明的第一方面實施例的高清圖像修復方法，包括以下步驟：

獲取待修復圖像；

對所述待修復圖像進行編碼，得到編碼圖像數據；

基于編碼圖像數據獲得圖像退化特征；

將所述編碼圖像數據和所述圖像退化特征輸入預訓練好的基于風格的生成對抗網絡中，得到所述待修復圖像修復后的高清圖像。

根據本發明實施例的高清圖像修復方法，至少具有如下有益效果：首先獲取人像圖像，然后對人像圖像進行編碼，得到編碼圖像數據，并且從編碼圖像數據中獲取圖像退化特征，將編碼圖像數據和圖像退化特征輸入基于風格的生成對抗網絡中，得到人像圖像的高清圖像。通過上述的步驟，利用基于風格的生成對抗網絡的超高清生成能力，使得修復后的人像清晰自然，細節清晰明顯，無失真，從而能夠對人像圖像做到較為全面的高清修復。其中，基于風格的生成對抗網絡可以是Style Gan網絡。

根據本發明的一些實施例，所述獲取待修復圖像，包括：

獲取原始圖像；

對所述原始圖像進行人臉檢測，檢測到人臉后，對人臉區域做關鍵點配準，將關鍵點配準到實際檢測后的人臉框內；

對人臉進行模板校準，將人臉形變扭曲到模板方向上；

將做完形變后的人臉區域框，統一采樣到固定大小，將圖像數值歸一化到[-1,1]的范圍內，得到所述人像圖像，將所述人像圖像設置為待修復圖像。

根據本發明的一些實施例，還包括：

將所述基于風格的生成對抗網絡輸出的所述圖像數值反歸一化到[0,1]的數值范圍內，得到修復好的所述高清圖像。

根據本發明的一些實施例，所述對所述待修復圖像進行編碼，得到編碼圖像數據，還包括：

將所述編碼圖像數據輸入隱式編碼層中。

根據本發明的一些實施例，所述將所述編碼圖像數據和所述圖像退化特征輸入預訓練好的基于風格的生成對抗網絡中，得到所述待修復圖像修復后的高清圖像，包括：

基于風格的生成對抗網絡中的全連接模塊從所述隱式編碼層中獲取所述編碼圖像數據，得到不同層級的圖像風格；

基于風格的生成對抗網絡中的解碼模塊從所述全連接模塊中獲取所述圖像風格，并且所述解碼模塊中的各層一一對應地獲取所述圖像退化特征；