[發明專利]圖像處理方法、生成式對抗網絡系統和電子設備

有效

• 申請號: 201811529115.4
• 申請日: 2018-12-13
• 公開（公告）號: CN110782398B
• 公開（公告）日: 2020-12-18
• 發明（設計）人: 張毅偉;趙元;沈海峰
• 申請（專利權）人: 北京嘀嘀無限科技發展有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04
• 代理公司: 北京超成律師事務所 11646
• 代理人: 鄧超

1.一種圖像處理方法，其特征在于，應用于生成式對抗網絡GAN中，所述GAN包括生成網絡，所述生成網絡包括初始特征提取層、依次連接的M個下采樣特征提取層、全局特征提取層、依次連接的M個上采樣特征提取層和殘差特征提取層，其中，M為大于等于1的整數；所述方法包括：

通過所述初始特征提取層對待處理圖像進行第一處理，獲得初始特征，其中，所述第一處理包括初始特征提取處理；

通過每個所述下采樣特征提取層對輸入到自身的輸入特征進行第二處理，獲得淺層特征、深度特征以及下采樣特征，其中，第二處理包括淺層特征提取處理、深度特征提取處理以及下采樣特征提取處理，與所述初始特征提取層連接的第一個所述下采樣特征提取層的輸入特征為所述初始特征，第二個至第M個所述下采樣特征提取層的輸入特征為自身的前一個所述下采樣特征提取層輸出的所述下采樣特征；

通過所述全局特征提取層對第M個所述下采樣特征提取層輸出的下采樣特征進行第三處理，獲得全局特征，其中，所述第三處理包括全局特征提取處理；

通過每個所述上采樣特征提取層對輸入到自身的輸入特征進行第四處理，獲得上采樣特征，其中，所述第四處理包括上采樣特征提取處理，與所述全局特征提取層連接的第一個所述上采樣特征提取層的輸入特征包括：第一直連接特征和第一跨連接特征，所述第一直連接特征為第M個所述下采樣特征提取層輸出的下采樣特征、深度特征和所述全局特征的第一串聯特征，所述第一跨連接特征為第M個所述下采樣特征提取層輸出的淺層特征以及第M－1個所述下采樣特征提取層輸出的深度特征；第j個所述上采樣特征提取層的輸入特征包括：第j直連接特征和第j跨連接特征，所述第j直連接特征為自身的前一個所述上采樣特征提取層輸出的上采樣特征，所述第j跨連接特征為第M－j+1個所述下采樣特征提取層輸出的淺層特征以及第M－j個所述下采樣特征提取層輸出的深度特征；第M個所述上采樣特征提取層的輸入特征包括：第M直連接特征和第M跨連接特征，所述第M直連接特征為第M－1個所述上采樣特征提取層輸出的上采樣特征，所述第M跨連接特征為第一個所述下采樣特征提取層輸出的淺層特征，其中，j依次取2至M－1；

通過所述殘差特征提取層對第M個所述上采樣特征提取層輸出的上采樣特征進行第五處理，獲得殘差特征，其中，所述第五處理包括殘差特征提取處理；

將所述殘差特征和所述待處理圖像相加得到目標圖像。

2.根據權利要求1所述的方法，其特征在于，所述通過每個所述下采樣特征提取層對輸入到自身的輸入特征進行第二處理，獲得淺層特征、深度特征以及下采樣特征，包括：

通過每個所述下采樣特征提取層對輸入到自身的輸入特征依次進行第一卷積處理、歸一化處理以及第一非線性轉換處理，獲得第一基本特征；

對所述第一基本特征依次進行第二卷積處理、歸一化處理以及第一非線性轉換處理，獲得所述淺層特征；

對所述第一基本特征依次進行三次殘差處理，獲得第二基本特征；

對所述第二基本特征依次進行第三卷積處理、歸一化處理以及第一非線性轉換處理，得到轉換特征，并對所述第二基本特征進行池化處理，將池化后得到的特征與所述轉換特征串聯得到所述下采樣特征；

對所述第二基本特征依次進行第四卷積處理、歸一化處理以及第一非線性轉換處理，獲得所述深度特征。

3.根據權利要求2所述的方法，其特征在于，所述對所述第一基本特征依次進行三次殘差處理，獲得第二基本特征，包括：

對所述第一基本特征依次進行第一卷積處理、歸一化處理、第一非線性轉換處理、第一卷積處理、歸一化處理以及第一非線性轉換處理，得到第三基本特征；

將所述第三基本特征與所述第一基本特征串聯，得到第二串聯特征；

對所述第二串聯特征依次進行第一卷積處理、歸一化處理、第一非線性轉換處理、第一卷積處理、歸一化處理以及第一非線性轉換處理，得到第四基本特征；

將所述第二串聯特征與所述第四基本特征串聯，得到第三串聯特征；

對所述第三串聯特征依次進行第一卷積處理、歸一化處理、第一非線性轉換處理、第一卷積處理、歸一化處理以及第一非線性轉換處理，得到第五基本特征；

將所述第五基本特征與所述第三串聯特征串聯，獲得所述第二基本特征。