[發明專利]圖像處理方法、處理裝置和處理設備

有效

• 申請號: 201711100015.5
• 申請日: 2017-11-09
• 公開（公告）號: CN107767343B
• 公開（公告）日: 2021-08-31
• 發明（設計）人: 劉瀚文;那彥波
• 申請（專利權）人: 京東方科技集團股份有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/00
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 王娟

1.一種圖像處理方法，包括：

獲取輸入圖像；

獲取第一噪聲圖像和第二噪聲圖像；

利用生成神經網絡根據輸入圖像和第一噪聲圖像對所述輸入圖像進行圖像轉換處理，以輸出轉換后的第一輸出圖像，其中，所述第一輸出圖像的轉換特征由所述生成神經網絡的參數決定，所述生成神經網絡是針對特定圖像轉換應用而訓練的，所述輸入圖像和所述第一輸出圖像具有內容一致性，所述第一噪聲圖像用于生成所述第一輸出圖像中的細節信息以便提供輸出圖像的多樣性；

利用超分辨率神經網絡對第一輸出圖像和第二噪聲圖像進行高分辨率轉換處理，輸出第二輸出圖像，其中，所述第一噪聲圖像和所述第二噪聲圖像不相同，

其中，所述輸入圖像作為第一訓練圖像，所述第一噪聲圖像作為第一訓練噪聲圖像，所述第一輸出圖像作為第一訓練輸出圖像，所述圖像處理方法還包括：

獲取第二訓練噪聲圖像；

利用所述生成神經網絡根據所述第一訓練圖像和第二訓練噪聲圖像，生成第二訓練輸出圖像；

基于第一訓練圖像、第一訓練輸出圖像和第二訓練輸出圖像訓練所述生成神經網絡，其中，訓練所述生成神經網絡包括：

按照第一損失函數計算所述生成神經網絡的損失值；以及

根據所述生成神經網絡的損失值優化所述生成神經網絡的參數；

其中，所述第一損失函數包括風格差異損失函數，并且，計算所述生成神經網絡的損失值包括：根據第一訓練輸出圖像的風格特征和第二訓練輸出圖像的風格特征按照風格差異損失函數計算所述生成神經網絡的風格損失值，

其中，訓練所述生成神經網絡還包括：

將所述第一訓練輸出圖像輸入至鑒別神經網絡，輸出所述第一訓練輸出圖像是否具有轉換特征的鑒別標簽；利用第一損失計算單元根據所述第一訓練圖像、第一訓練輸出圖像、第二訓練輸出圖像和鑒別標簽計算所述生成神經網絡的損失值，優化所述生成神經網絡的參數。

2.根據權利要求1所述的圖像處理方法，其中：

所述輸入圖像包括第一顏色通道、第二顏色通道和第三顏色通道；

所述第一噪聲圖像包括N個通道，N為大于等于1的正整數，所述第二噪聲圖像包括M個通道，M為大于等于1的正整數，所述第一噪聲圖像和第二噪聲圖像不相同；

所述生成神經網絡的輸入包括第一噪聲圖像通道以及輸入圖像的第一顏色通道、第二顏色通道和第三顏色通道；

所述生成神經網絡的輸出為第一輸出圖像，其包括第一顏色通道、第二顏色通道和第三顏色通道。

3.根據權利要求1所述的圖像處理方法，其中，所述生成神經網絡包括一個或多個下采樣模塊、一個或多個殘差模塊和一個或多個上采樣模塊，其中：

所述下采樣模塊包括依次連接的卷積層、下采樣層和實例標準化層；

所述殘差模塊包括依次連接的卷積層和實例標準化層；

所述上采樣模塊包括依次連接的上采樣層、實例標準化層和卷積層，其中：所述上采樣模塊的個數與所述下采樣模塊的個數相等。

4.根據權利要求1所述的圖像處理方法，其中，所述超分辨率神經網絡的輸入包括第二噪聲圖像通道以及第一輸出圖像的第一顏色通道、第二顏色通道和第三顏色通道；

所述超分辨率神經網絡的輸出為第二輸出圖像，其包括第一顏色通道、第二顏色通道和第三顏色通道。

5.根據權利要求1所述的圖像處理方法，其中，所述超分辨率神經網絡包括依次連接的提升模塊和變換模塊，并且利用超分辨率神經網絡進行高分辨率轉換處理包括：

利用所述提升模塊對第一輸出圖像和第二噪聲圖像進行上采樣處理，并輸出包括亮度通道、第一色差通道和第二色差通道的第一中間圖像；

利用所述變換模塊將提升模塊輸出的第一中間圖像變換為包括第一顏色通道、第二顏色通道和第三顏色通道的第二輸出圖像。

6.根據權利要求5所述的圖像處理方法，其中，所述提升模塊包括第一子網絡、第二子網絡和第三子網絡，其中：

每個子網絡的輸入均為第一輸出圖像和第二噪聲圖像；

每個子網絡具有相同的結構，包含相同個數的卷積層和提升層。