[發明專利]一種模型結構、模型訓練方法、圖像增強方法及設備

在審

• 申請號: 202011382775.1
• 申請日: 2020-12-01
• 公開（公告）號: CN112529150A
• 公開（公告）日: 2021-03-19
• 發明（設計）人: 郭天宇;陳漢亭;王云鶴;許春景
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06K9/62
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 陳松浩

1.一種模型的結構，其特征在于，包括：

選擇模塊、m個第一神經網絡層、m個第二神經網絡層、切分模塊、重組模塊以及transformer模塊，其中，一個第一神經網絡層唯一對應一個第二神經網絡層，m≥2；

所述選擇模塊，用于獲取輸入圖像，并確定與所述輸入圖像對應的第一目標神經網絡層，所述第一目標神經網絡層為所述m個第一神經網絡層中的一個；

所述第一目標神經網絡層，用于對所述輸入圖像進行特征提取，得到第一特征圖；

所述切分模塊，用于對所述第一特征圖進行切分，得到n個第一特征塊，n≥2；

所述transformer模塊，用于根據相關信息，生成與所述n個第一特征塊一一對應的n個第二特征塊，所述相關信息用于指示所述n個第一特征塊中任意兩個第一特征塊之間的相關度；

所述重組模塊，用于對所述n個第二特征塊進行拼接重組，得到第二特征圖；

第二目標神經網絡層，用于對所述第二特征圖進行解碼，得到輸出圖像，所述第二目標神經網絡層與所述第一目標神經網絡層對應，且所述第二目標神經網絡層為所述m個第二神經網絡層中的一個。

2.根據權利要求1所述的結構，其特征在于，不同的第一神經網絡層對應不同的圖像增強任務，所述選擇模塊，具體用于：

獲取輸入圖像，并確定所述輸入圖像屬于第一圖像增強任務；

確定與所述第一圖像增強任務對應的第一目標神經網絡層。

3.根據權利要求2所述的結構，其特征在于，所述輸入圖像為訓練集中的訓練樣本，所述選擇模塊，具體還用于：

獲取所述訓練樣本，并根據所述訓練樣本的標簽以確定所述訓練樣本屬于所述第一圖像增強任務。

4.根據權利要求2所述的結構，其特征在于，所述輸入圖像為待處理的目標圖像，所述選擇模塊，具體還用于：

獲取所述目標圖像，并根據接收到的指令以確定所述目標圖像屬于第一圖像增強任務。

5.根據權利要求2-4中任一項所述的結構，其特征在于，所述transformer模塊包括編碼器和解碼器；

所述編碼器，用于生成第一相關信息，并根據所述第一相關信息，生成與所述n個第一特征塊一一對應的n個第三特征塊，所述第一相關信息用于指示所述n個第一特征塊中任意兩個第一特征塊之間的第一相關度；

所述解碼器，用于生成第二相關信息，并根據所述第二相關信息，生成與所述n個第三特征塊一一對應的n個所述第二特征塊，所述第二相關信息中包括第一任務編碼，所述第一任務編碼為所述第一圖像增強任務的對應標識，所述第二相關信息用于指示所述n個第三特征塊中任意兩個第三特征塊之間的第二相關度。

6.根據權利要求1-5中任一項所述的結構，其特征在于，所述切分模塊，具體用于：

對所述第一特征圖進行切分，得到n個切分塊；

將所述n個切分塊中的每個切分塊各自延展為一維向量表示的第一特征塊，得到所述n個第一特征塊。

7.根據權利要求6所述的結構，其特征在于，所述n個切分塊的尺寸相同。

8.一種模型結構，其特征在于，包括：

第一神經網絡層、第二神經網絡層、切分模塊、重組模塊以及transformer模塊；

所述第一神經網絡層，用于對輸入圖像進行特征提取，得到第一特征圖；

所述切分模塊，用于對所述第一特征圖進行切分，得到n個第一特征塊，n≥2；

所述transformer模塊，用于根據相關信息，生成與所述n個第一特征塊一一對應的n個第二特征塊，所述相關信息用于指示所述n個第一特征塊中任意兩個第一特征塊之間的相關度；

所述重組模塊，還用于對所述n個第二特征塊進行拼接重組，得到第二特征圖；

所述第二神經網絡層，用于對所述第二特征圖進行解碼，得到輸出圖像。