[發明專利]圖像處理方法、處理裝置和處理設備

有效

• 申請號: 201711100015.5
• 申請日: 2017-11-09
• 公開（公告）號: CN107767343B
• 公開（公告）日: 2021-08-31
• 發明（設計）人: 劉瀚文;那彥波
• 申請（專利權）人: 京東方科技集團股份有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/00
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 王娟

提供一種圖像處理方法、處理裝置和處理設備，利用生成神經網絡結合圖像內容特征、風格特征實現圖像轉換，在此基礎上，利用超分辨率神經網絡提升生成神經網絡輸出的轉換圖像的分辨率，獲得高分辨率的轉換圖像。該圖像處理方法包括獲取輸入圖像；獲取第一噪聲圖像和第二噪聲圖像；利用生成神經網絡根據輸入圖像和第一噪聲圖像對所述輸入圖像進行圖像轉換處理，以輸出轉換后的第一輸出圖像；利用超分辨率神經網絡對第一輸出圖像和第二噪聲圖像進行高分辨率轉換處理，輸出第二輸出圖像，其中，所述第一噪聲圖像和所述第二噪聲圖像不相同。

技術領域

本發明涉及圖像處理，尤其涉及一種圖像處理方法、處理裝置和處理設 備。

背景技術

利用深度神經網絡進行圖像處理和轉換是隨著深度學習技術的發展而新 興起來的技術。然而，現有技術中的圖像處理和轉換系統的結構復雜且難于 訓練，并且輸出圖像缺乏多樣性。因此，需要一種實現圖像轉換的圖像處理 方法、裝置和設備，其既能保證輸出圖像與輸入圖像之間具有一致性，又能 保證不同輸出圖像之間具有多樣性。

發明內容

本發明提供一種圖像處理方法、處理裝置和處理設備，利用生成神經網 絡結合圖像內容特征、風格特征實現圖像轉換，在此基礎上，利用超分辨率 神經網絡提升生成神經網絡輸出的轉換圖像的分辨率，獲得高分辨率的轉換 圖像。

本發明實施例提供一種圖像處理方法，包括：獲取輸入圖像；獲取第一 噪聲圖像和第二噪聲圖像；利用生成神經網絡根據輸入圖像和第一噪聲圖像 對所述輸入圖像進行圖像轉換處理，以輸出轉換后的第一輸出圖像；利用超 分辨率神經網絡對第一輸出圖像和第二噪聲圖像進行高分辨率轉換處理，輸 出第二輸出圖像，其中，所述第一噪聲圖像和所述第二噪聲圖像不相同。

根據本發明實施例，所述輸入圖像包括第一顏色通道、第二顏色通道和 第三顏色通道；所述第一噪聲圖像包括N個通道，N為大于等于1的正整數， 所述第二噪聲圖像包括M個通道，M為大于等于1的正整數，所述第一噪聲 圖像和第二噪聲圖像不相同；所述生成神經網絡的輸入包括第一噪聲圖像通 道以及輸入圖像的第一顏色通道、第二顏色通道和第三顏色通道；所述生成 神經網絡的輸出為第一輸出圖像，其包括第一顏色通道、第二顏色通道和第 三顏色通道。

根據本發明實施例，所述生成神經網絡包括一個或多個下采樣模塊、一 個或多個殘差模塊和一個或多個上采樣模塊，其中：所述下采樣模塊包括依 次連接的卷積層、下采樣層和實例標準化層；所述殘差模塊包括依次連接的 卷積層和實例標準化層；所述上采樣模塊包括依次連接的上采樣層、實例標 準化層和卷積層，其中：所述上采樣模塊的個數與所述下采樣模塊的個數相 等。

根據本發明實施例，所述超分辨率神經網絡的輸入包括第二噪聲圖像通 道以及第一輸出圖像的第一顏色通道、第二顏色通道和第三顏色通道；所述 超分辨率神經網絡的輸出為第二輸出圖像，其包括第一顏色通道、第二顏色 通道和第三顏色通道。

根據本發明實施例，所述超分辨率神經網絡包括依次連接的提升模塊和 變換模塊，并且利用超分辨率神經網絡進行高分辨率轉換處理包括：利用所 述提升模塊對第一輸出圖像和第二噪聲圖像進行上采樣處理，并輸出包括亮 度通道、第一色差通道和第二色差通道的第一中間圖像；利用所述變換模塊 將提升模塊輸出的第一中間圖像變換為包括第一顏色通道、第二顏色通道和 第三顏色通道的第二輸出圖像。

根據本發明實施例，所述提升模塊包括第一子網絡、第二子網絡和第三 子網絡，其中：每個子網絡的輸入均為第一輸出圖像和第二噪聲圖像；每個 子網絡具有相同的結構，包含相同個數的卷積層和提升層。

根據本發明實施例，所述輸入圖像作為第一訓練圖像，所述第一噪聲圖 像作為第一訓練噪聲圖像，所述第一輸出圖像作為第一訓練輸出圖像，所述 圖像處理方法還包括：獲取第二訓練噪聲圖像；利用所述生成神經網絡根據 所述第一訓練圖像和第二訓練噪聲圖像，生成第二訓練輸出圖像；基于第一 訓練圖像、第一訓練輸出圖像和第二訓練輸出圖像訓練所述生成神經網絡。